一,虚拟机
1,vSphere安装
在服务器上裸装vSphere6.0.0,在本机windows安装vSphere Client
2,ubuntu14.04单节点安装
在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后,注意将光驱配置修改为“客户端”配置,之后按enter继续完成ubuntu的安装。
进入系统后,修改/etc/network/interfaces ,之后重启网络服务失败。。汗啊,重启吧。
修改为国内源 vi /etc/apt/sources.list (没办法,还没装vim只能vi了)
sudo apt-get update
sudo apt-get install openssh-server
sudo apt-get install vim
3,ubuntu14.04复制
a,在vsphere上导出OVF模板(导出)
b,部署OVF模板(克隆)
二,安装Cloudera Manager
1,参考官网说明步骤
2,配置网络集群环境
虚拟机规划了ClouderaManager,CDH001,CDH002,CDH003
配置各自的hostname (各台机器的/etc/hosts里都要一致)
三,主要遇到的问题
1,新建虚拟机ubuntu14.04.01lts,bridge 模式 ping 不通网关。原因是需要使用管理员启动vm station,才有vmnet0
4,ubuntu 复制粘贴,vmware tools安装。
6,自己做ubuntu的源(提供给集群环境使用),使用apache2时,配置目录已改为/var/www/html
7,agent信号检测问题,安装ntp。
8,
host acquiring installati
on lock forever
https://community.cloudera.com/t5/Cloudera-Manager-Installation/host-acquiring-installation-lock-forever/td-p/15292
you can remove /tmp/.scm_prepare_node.lock
9,集群安装时,agent节点安装较慢,之前试图使用ubuntu源,但是CDH2选到了LAN里的,CDH1选到了官网的。后来使用scp的方式把 agent 和 daemons两个包拷到了 /var/cache/apt/archives里。继续安装
10,agent节点需要安装jre,否则会造成 agent失败。
11,选择从主机安装
https://groups.google.com/a/cloudera.org/forum/#!msg/scm-users/Gv8H-rfz1wQ/90jwLcYlDwIJ
14,hostname 3台机器必须一致,之前有2台填了2项 ip name,1台填了3列,因此错误;改为都是2项,ok
17,我使用了dns。/etc/hosts中如果包含规范名称,造成host -v -t A `hostname`时,host not found。
18,注意要sudo passwd root,不然可能会造成authentication fail 的错误
19,由于CDH002和CDH003是从CDH001克隆出来的,uuid一样,因此需要把CDH002和CDH003的uuid删除。现象就是集群里面机器有时是这个,有时是那个,始终只有3个中的一个。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11054
20,修改了机器的ip后。出现各种问号。管理portal上重启了cloudera manager service即可。
21,ntp有可能同步失败,/var/log/syslog里面有写。
22,cdh5源码包 地址
http://archive-primary.cloudera.com/cdh5/cdh/5/
23,一定要把windows和linux的用户改成一样,比如都是root,不然老是出权限问题
24,添加新机器时,已经是一个月后了,出了新版本。原来是5.4.7.1,现在是5.4.8.1。报agent版本不匹配。
解决方法:dpkg --purge cloudera-manager-agent
dpkg --purge cloudera-manager-daemons
dpkg -i cloudera-manager-daemons_5.4.7-1.cm547.p0.10~trusty-cm5_all.deb
dpkg -i cloudera-manager-agent_5.4.7-1.cm547.p0.10~trusty-cm5_amd64.deb
然后 restart agent
25,启动hdfs时,报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。
经过查看日志,发现 Name node is in safe mode.
解决方法:sudo -uhdfs hdfs dfsadmin -safemode leave
(补充:迁移了可以在namenode上使用下面命令即可解决:hadoop dfsadmin -refreshNodes)。
28,新增节点时,portal上报Name or service not known。实际是需要 sudo passwd root
cd /etc/cloudera-scm-server/
grep -r "cloudera-manager.cdsf.com" *
然后修改找出来的db.properties文件 -- vim db.mgmt.properties
修改后重启 sudo service cloudera-scm-server restart
最好不要改cloudera-manager的hostname名字,否则可能出现各种问题。
30,cloudera manager的postgresql里面