Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

主要参照: http://www.jb51.cc/article/p-xadjokpb-mv.html,多谢博主的分享,在此感谢。
最近一直在自学 Hadoop,今天花点时间搭建一个开发环境,并整理成文。

首先要了解一下Hadoop的运行模式:

单机模式(standalone)
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
伪分布模式(Pseudo-Distributed Mode)
伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。
全分布模式(Fully Distributed Mode)
Hadoop守护进程运行在一个集群上。

版本:ubuntu 10.04.4,hadoop 1.0.2

1.添加hadoop用户到系统用户root用户

安装前要做一件事——添加一个名为hadoop到系统用户,专门用来做Hadoop测试

~$ sudo addgroup hadoop
~$ sudo adduser --ingroup hadoop hadoop

现在只是添加了一个用户hadoop,它并不具备管理员权限,因此我们需要将用户hadoop添加管理员组:

~$ sudo usermod -aG admin hadoop

或者操作:(有待验证确认)hadoop用户添加权限,打开/etc/sudoers文件

sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。

rootALL=(ALL:ALL) ALL添加hadoop ALL=(ALL:ALL)ALL

hadoop ALL=(ALL:ALL) ALL

2.安装ssh(root用户)

由于Hadoop用ssh通信,先安装ssh

~$ sudo apt-get install openssh-server

ssh安装完成以后,先启动服务: ~$ sudo /etc/init.d/ssh start

启动后,可以通过如下命令查看服务是否正确启动: ~$ ps -e | grep ssh

3.关闭防火墙(root用户

在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。所以对集群所有服务器关闭防火墙:chkconfig iptables off

查看防火墙状态:service iptables status/sudo ufwstatus

永久关闭防火墙:chkconfig iptables off/sudoufw disable

查看防火墙状态:chkconfig --list iptables

开启:1启用sudo ufw enable

4.配置非root用户免验证登录SSHhadoop用户

建立ssh无密码登录本机

首先要转换成hadoop用户,执行以下命令:

su - hadoop

ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。

1.)创建ssh-key,,这里我们采用rsa方式:

hadoop@scgm-ProBook:~$ ssh-keygen -t rsa -P ""

因为我已有私钥,所以会提示是否覆盖当前私钥。第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥,现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):

~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以登入ssh确认以后登录时不用输入密码:

~$ ssh localhost

执行退出命令:

~$ exit

第二次登录

~$ ssh localhost

退出

~$ exit

这样以后登录就不用输入密码了。( 注:当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。)

5.安装JDK(hadoop用户)

第一步下载jdk:Ubuntu 11.04 下安装配置 JDK 7http://www.aboutyun.com/thread-6487-1-1.html

第二步:sudo tar -zxvf./jdk-7-linux-i586.tar.gz-C/usr/lib/jvm

  1. cd /usr/lib/jvm

  2. sudo mv jdk1.7.0/ java-7-sun

    vim ~/.bashrc

    export JAVA_HOME=/usr/lib/jvm/java-7-sun

    export JRE_HOME=${JAVA_HOME}/jre

    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

    export PATH=${JAVA_HOME}/bin:$PATH

保存退出,输入以下命令使之立即生效。

source ~/.bashrc

对于环境变量的设置很重要,这里补充一下他们的含义:
AVA_HOME 用于指定JDK的主目录
JRE_HOME 用于指定JRE的主目录
CLASSPATH 有什么作用呢?编java程序的时候会用到import, 当要用的class,在某一个.jar下时,你需要在编译时引入,jvm自动去找CLASSPATH环境变量引入下面的jar包, 这就是CLASSPATH环境变量的作用。
PATH用于指定系统查找命令的路径,我们在命令行中的一个命令敲下去,系统会在PATH指定的目录中去寻找这个命令,如果找到了就执行,找不到就报错,就是我们常见的”Command not found ”,所以我们要要用到的java和javac等工具路径添加到PATH中。

第四步:测试

snowdream@snowdream:~$ java -version
java version "1.7.0"
Java(TM) SE Runtime Environment (build 1.7.0-b147)
Java HotSpot(TM) Server VM (build 21.0-b17,mixed mode)

6.安装hadoop(root用户

1)到官网下载hadoop源文件,这里选择hadoop 1.0.2

解压并放到你希望的目录中。我是放到/usr/local/hadoop

~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

要确保所有的操作都是在用户hadoop下完成的:

将该hadoop文件夹的属主用户设为hadoop:

~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

2)设定hadoop-env.sh(Java 安装路径)

进入hadoop目录,打开conf目录下到hadoop-env.sh,添加以下信息:

配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径):
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (视你机器的java安装路径而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin


并且,让环境变量配置生效source

~$ source /usr/local/hadoop/conf/hadoop-env.sh

至此,hadoop的单机模式已经安装成功。

http://www.jb51.cc/article/p-xadjokpb-mv.html

http://os.51cto.com/art/201211/364167.htm

于是,运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

在hadoop目录下新建input文件

~$ mkdir input

把当前目录下任意文件cp进input目录,如README.txt

~$cp README.txt input/

hdfs里面还没有把input这个文件加上

hadoop@ubuntu:/usr/local/hadoop$bin/hadoop dfs -put input input

这样之后,通过dfs-ls命令终于能找到input文件夹:

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -ls

Found 1 items

drwxr-xr-x - hadoop supergroup 0 2013-07-06 20:12 /user/hadoop/input

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop-examples-1.0.3.jar wordcount input output

例如:~$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

...

运行

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -cat output/*


****下面是伪分布模式需要的一些配置,继续。

7.设定*-site.xml(root用户)
这里需要设定3个文件:core-site.xml,hdfs-site.xml,mapred-site.xml,都在/usr/local/hadoop/conf目录下
core-site.xml: Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。
hdfs-site.xml: Hadoop 守护进程的配置项,包括namenode,辅助namenode和datanode等。
mapred-site.xml: MapReduce 守护进程的配置项,包括jobtracker和tasktracker。

接下来编辑那三个文件

core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>


hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
</configuration>

mapred-site.xml:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

8.格式化HDFS(hadoop用户

通过以上步骤,我们已经设定好Hadoop单机测试到环境,接着就是启动Hadoop到相关服务,格式化namenode,secondarynamenode,tasktracker:

~$ source /usr/local/hadoop/conf/hadoop-env.sh
~$ hadoop namenode -format

9.启动Hadoop(hadoop用户

接着执行start-all.sh来启动所有服务,包括namenode,datanode,start-all.sh脚本用来装载守护进程。

hadoop@ubuntu:/usr/local/hadoop$ cd bin
hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh (记得关闭所有防火墙

用Java的jps命令列出所有守护进程来验证安装成功

hadoop@ubuntu:/usr/local/hadoop$ jps

出现如下列表,表明成功

检查运行状态
所有的设置已完成,Hadoop也启动了,现在可以通过下面的操作来查看服务是否正常,在Hadoop中用于监控集群健康状态的Web界面:
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态

至此,hadoop的伪分布模式已经安装成功,于是,再次在伪分布模式下运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

这时注意程序是在文件系统dfs运行的,创建的文件也都基于文件系统:

首先在dfs中创建input目录

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input

将conf中的文件拷贝到dfs中的input

hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input

在伪分布式模式下运行WordCount

hadoop@ubuntu:/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output

运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command

显示输出结果

hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -cat output/*

当Hadoop结束时,可以通过stop-all.sh脚本来关闭Hadoop的守护进程

hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh

10.结语

在ubuntu上搭建hadoop成功!有点小兴奋,已经迫不及待的想开始做一些相关的开发及深入理解hadoop内核实现,继续加油咯!

PS:单机模式和伪分布模式均用于开发和调试的目的。真实Hadoop集群的运行采用的是第三种模式,即全分布模式。待续。






相关文章

1.安装过程出现0x00000000指令引用的0x00000000内存该内存不能为written 如果你安装的是inux系统 需要在...
写在全面:如果根据以下教程涉及到只读文件需要更改文件权限才能需修改文件内容,参考我的另一篇博客:...
写在前面:以下步骤中需要在终端输入命令,电脑端查看博客的朋友可以直接复制粘贴到终端,手机端查看的...
ubuntu16.04和18.04更换国内源 写在前面:安装好ubuntu双系统后,默认的软件更新源是国外的,在国内使用...
ubuntu双系统启动时卡死解决办法(在ubuntu16.04和18.04测试无误) 问题描述: 在安装完ubuntu双系统后...
又来造轮子了。。。。。。。。。。。。。。。。 今天使用w3af向文件中写入的时候,发现没有write权限,...