1.搭建Hadoop环境需要先安装和测试JDK,具体步骤可以参考
http://blog.csdn.net/zp8126/article/details/78205854
2.下载hadoop-2.6.5.tar.gz
可以在官网下载:http://hadoop.apache.org/#Download+Hadoop
也可以在CSDN下载:http://download.csdn.net/download/zp8126/10016375
3.cd /opt/software进入存放软件包目录。(此目录是自己创建的用来专门存放安装包的目录)
4.使用xshell客户端的rz命令上传到linux服务器(虚拟机安装的linux),界面如下图:
5.cp hadoop-2.6.5.tar.gz /usr/hadoop拷贝文件到/usr/hadoop目录下
6.进入/usr/hadoop/目录
a)tar -xvf hadoop-2.6.5.tar.gz解压到当前目录下
b)cd hadoop-2.6.5进入目录,ls列表查看安装目录下的文件。如下图:
7.切换进入/usr/hadoop/hadoop-2.6.5/etc/hadoop/如下图:
8.vi hadoop-env.sh,添加内容:export JAVA_HOME=/usr/java/jdk1.8.0.144,如下图:
9.在$hadoop_home/etc/hadoop目录下执行命令vi core-site.xml,并修改文件core-site.xml,添加内容如下:
<configuration>
<property>
<name>fs.default.name</name>
<!-- zhang为主机名,也可以使用ip-->
<value>hdfs://zhang:9000</value>
</property>
<name>fs.defaultFS</name>
<name>hadoop.tmp.dir</name>
<!--文件临时目录,可以自己指定-->
<value>/hadoop/temp/</value>
</configuration>
10.在$hadoop_home/etc/hadoop目录下执行命令vi hdfs-site.xml编辑文件,内容如下:
<name>dfs.replication</name>
<value>1</value>
<name>dfs.name.dir</name>
<value>/hadoop/hdfs/name</value>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs/data</value>
11.在$HADOOP_HOME/etc/hadoop目录下查看是否有配置文件mapred-site.xml文件。默认下没此文件,可以通过重命名mv mapred-site.xml.template mapred-site.xml改成此文件名。然后vi mapred-site.xml修改此文件内容:
<name>mapreduce.framework.name</name>
<value>yarn</value>
12.在$HADOOP_HOME/etc/hadoop目录下执行命令vi yarn-site.xml,修改内容如下:
<name>yarn.resourcemanager.hostname</name>
<value>zhang</value>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
13.执行命令vi /etc/profile,把Hadoop的安装目录配置到环境变量中,
JAVA_HOME=/usr/java/jdk1.8.0_144
HADOOP_HOME=/usr/hadoop/hadoop-2.6.5
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
14.然后执行source /etc/profile,让配置文件生效。
15.格式化NameNode。在任意目录下(配置Hadoop环境变量的情况下)执行命令
Hdfs namenode -format或者hadoop namenode -format,实现格式化。
执行结束后,如图:
16.启动hadoop进程,首先执行start-dfs.sh(注意中间没有空格);没有配置ssh免密登录之前,会不停的需要输入yes和密码,最后界面如图:
17.输入命令service iptables stoo,关闭防火墙后,打开浏览器输入:
http://192.168.1.219:50070/就可以进入如下界面:
18.启动yarn,执行start-yarn.sh启动yarn计算进程。
同样在浏览器中:http://192.168.1.219:8088/打开主页面:
19.问题总结
a)在上面配置的一系列*-site.xml中用的主机名都可以更换为ip.
c)修改主机名:vi /etc/sysconfig/network
把HOSTNAME=wang
d)配置映射
e)重启reboot,之后就可以使用主机名访问了 ,但是使用主机名访问只能虚拟机内
有效。外部主机访问还是需要ip
f)另外注意:启动yarn和dfs时,如果不想重复输入密码,则需要进行ssh免密码登录配置。
@H_254_403@ 原文链接:https://www.f2er.com/centos/374411.html