截至到2016年5月30日,在网上都没有找到离线安装CDH5.6的文章,最新的就是5.6,经过各种试验,总算装好了,记录如下。
一、基础环境
1.操作系统:Centos6.5 Minimal版本
2.CDH 5.7
3.Cloudra Manager版本5.7
4.JDK版本oracle-j2sdk1.7-1.7.0update67-1.x86_64.rpm
5.使用VirtualBox 5搭建3个虚拟机
6.硬件:笔记本 i5第6代,8G内存,256G固态硬盘
7.所有操作都是用root用户,且各个虚拟机root用户密码都设置成一样的
二、基础配置
各种基础配置在网上已经到处都是了,没有什么特殊的。
主要环节如下:
1、配置host
1)修改主机名,vi /etc/sysconfig/network,各台主机honstname改名为对应的名称,service network restart重启网卡生效。
2)添加hostname与ip的对应关系:
10.0.0.105 master
10.0.0.106 slave1
10.0.0.107 slave2
3)将host从主节点master分发到各个从节点。: scp /etc/hosts root@slave1:/etc
2、关闭防火墙和selinux
1)关闭防火墙(每个节点) service iptables stop chkconfig iptables off
2)关闭selinux(重启生效) vi /etc/selinux/config,设置:SELINUX=disabled
3、ssh无密码登录
1)各个节点安装ssh ssh-keygen -t rsa 一路回车结束
2)将公钥加入到authorized_keys(只需master操作) cat id_rsa.pub >authorized_keys
3) 修改权限 chmod 600 authorized_keys
4)将authorized_keys从master分发到各个slave scp authorize_keys root@slave1:~/.ssh/
4、安装JDK
1)卸载自带java
rpm -qa |grep java
yum remove java*(删除自带的java)
2)安装jdk(每个节点rpm安装)
rpm -ivh jdk1.7.0_67.rpm
!!!重点!!!
JAVA安装后,CDH需要一个/usr/java/default的软链接,否则安装CM的过程中,会出现找不到JAVA_HOME的错误。
进入/usr/java目录:ln -s /opt/java/jdk1.7.0_67 default。
之后,修改/etc/profile:
export JAVA_HOME=/usr/java/default
export PATH=
export CLASSPATH=.:
source /etc/profile
5、ntp时间同步
1)安装NTP(每个节点): yum install ntp
2)配置NTP
master配置:
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict 192.168.56.0 255.255.255.0 nomodify notrap
chkconfig ntpd on
service ntpd start
slave配置:
vi /etc/ntp.conf
server master
service ntpd start
chkconfig ntpd on
3)查看同步效果 命令:ntpstat
每台机器上都看看,应该看到类似下面的提示:
synchronised to NTP server (192.168.56.105) at stratum 12
三、Cloudera Manager安装
下载地址:
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7/RPMS/x86_64/
1、master节点安装
将下载好的rpm包放到一个文件夹中,进入到这个文件夹手动安装: yum localinstall –nogpgcheck *.rpm
2、slave节点安装
只需安装cloudera-manager-agent.rpm和cloudera-manager-daemons.rpm
3、正式安装cloduera manager
使用http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin,进行安装。
实际上,这个文件是用于在线安装的,因为我们提前下载并安装了CM的RPM包,所以这个脚本可以迅速完成安装过程。
安装结束后,登录:http://10.0.0.105:7180/cmf
四、安装CDH 5.7
1、下载CDH软件包:
http://archive.cloudera.com/cdh5/parcels/5.7/
下载el6的两个parcel文件(6就是centos6),和manifest.json
把parcel.sha1更名为 parcel.sha,否则安装时又会下载一遍
刚刚master节点上安装完成了CM,会在/opt目录下生成cloudera文件夹,将刚才下载的三个文件移动到parcel-repo
登录:http://10.0.0.105:7180/cmf
一路NEXT,完成CDH的安装。
期间,可能会出现提示修改swappiness和redhat_transparent_hugepage/defrag,按照提示修改即可: 1)echo 10 >/proc/sys/vm/swappiness(临时生效) 2)echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag(临时生效) 3)永久生效: vi /etc/sysctl.conf,在最后增加vm.swappiness=10 vi /etc/rc.local,把“echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag”加进去