在CentOS 6.9中 配置Hadoop

前端之家收集整理的这篇文章主要介绍了在CentOS 6.9中 配置Hadoop前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
  • 准备工作

配置 java 环境变量

在 ~/.bash_profile 中配置

tar -zxvf jdk-8uXXX-linux-x64.tar.gz

export JAVA_HOME=/解压目录/jak1.8.0_xxx

export PATH=$PATH:$JAVA_HOME/bin

修改后执行

source ~/.bash_profile

使刚刚配置的环境变量立即生效

配置host

使用 ifconfig 查看自己的ip

然后在 /etc/hosts 添加host配置

修改hostname主机名

修改/etc/sysconfig/network 里HOSTNAME配置,然后执行 hostnamebigdata

如果使用的是虚拟机最好使用NAT网络模式

  • 配置 Hadoop

下载 hadoop-2.7.x.tar.gz

tar -zxvf hadoop-2.7.x.tar.gz

在 ~/.bash_profile 中添加Hadoop环境变量配置

export HADOOP_HOME=/解压目录/hadoop-2.7.x

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

修改Hadoop配置文件,Hadoop配置文件在 etc/hadoop 目录下

1. 修改 hadoop-env.sh 中 JAVA_HOME 改为 jdk 的绝对路径

2. 修改 core-site.xml

  1. <configuration>
  2. <property>
  3. <name>fs.defaultFS</name>
  4. <value>hdfs://bigdata:9000</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/application/tmp/hadoop</value>
  9. </property>
  10. </configuration>

3. 修改 yarn-site.xml

  1. <configuration>
  2. <property>
  3. <name>yarn.nodemanager.aux-services</name>
  4. <value>mapreduce_shuffle</value>
  5. </property>
  6. <property>
  7. <name>yarn.resourcemanager.address</name>
  8. <value>bigdata:18040</value>
  9. </property>
  10. <property>
  11. <name>yarn.resourcemanager.scheduler.address</name>
  12. <value>bigdata:18030</value>
  13. </property>
  14. <property>
  15. <name>yarn.resourcemanager.resource-tracker.address</name>
  16. <value>bigdata:18025</value>
  17. </property>
  18. <property>
  19. <name>yarn.resourcemanager.admin.address</name>
  20. <value>bigdata:18141</value>
  21. </property>
  22. <property>
  23. <name>yarn.resourcemanager.webapp.address</name>
  24. <value>bigdata:18088</value>
  25. </property>
  26. <property>
  27. <name>yarn.log-aggregation-enable</name>
  28. <value>true</value>
  29. </property>
  30. <property>
  31. <name>yarn.log.server.url</name>
  32. <value>http://bigdata:19888/jobhistory/logs</value>
  33. </property>
  34. <property>
  35. <name>yarn.nodemanager.vmem-check-enabled</name>
  36. <value>false</value>
  37. </property>
  38. </configuration>

4. 修改 hdfs-site.xml

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>3</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.name.dir</name>
  8. <value>/application/tmp/hdfs/namenode</value>
  9. </property>
  10. <property>
  11. <name>dfs.datanode.data.dir</name>
  12. <value>/application/tmp/hdfs/datanode</value>
  13. </property>
  14. </configuration>

5. 修改 mapred-site.xml

  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

配置分布式

将 jdk 及上述 hadoop 文件及其配置都复制到其余准备好的虚拟节点上
在 namenode 节点启动格式化:

  1. hadoop namenode format

在 namenode 节点上启动 namenode 服务,resourcemanager 和 history server

  1. sbin/hadoop-daemon.sh start namenode
  2. sbin/yarn-daemon.sh start resourcemanager
  3. sbin/mr-jobhistory-daemon.sh start historyserver

在 datanode 节点上启动 datanode 服务和 nodemanager 服务

  1. sbin/hadoop-daemon.sh start datanode
  2. sbin/yarn-daemon.sh start nodemanager

(namenode 和 resourcemanager 在生产环境中不一定会被放在一个节点)

输入 jps

在 namenode 节点上有 NameNode 进程和 ResourceManager 进程,historysever 进程,在 datanode 上有 Datanode 进程和 NodeManager 进程。则
说明正确。

伪分布式版

与上面的区别是:不需要在其他节点重新配置 hadoop 和 jdk,直接在本节
点配置好 jdk 和 hadoop 后:

  1. hadoop namenode format
  2.  
  3. sbin/hadoop-daemon.sh start namenode
  4. sbin/yarn-daemon.sh start resourcemanager
  5. sbin/mr-jobhistory-daemon.sh start historyserver
  6.  
  7. sbin/hadoop-daemon.sh start datanode
  8. sbin/yarn-daemon.sh start nodemanager

猜你在找的CentOS相关文章