Hadoop 环境的搭建

一、安装VMWare 虚拟机

虚拟机版本VMware12，考虑到启动速度，装在固态硬盘中。

二、安装Linux

安装版本：ubuntu-16.04.1-server-amd64

此版本没有图形化界面，体积较小，只有命令行窗口

三、配置Linux

1、为了方便操作以及避免权限的相关问题，不用个人用户，使用root用户登录来进行操作 ——>root用户的解锁：修改root密码，方便登录

sudo passwdroot

2、关闭防火墙，卸载iptables

关闭防火墙：ufw disable

卸载iptables：apt-get removeiptables

3、安装vim编辑器

apt-getinstall vim

四、安装SSH工具

为了方便不在Linux命令窗口中输入命令，转而在Windows工具中远程控制Linux——>配置SSH工具远程连接

1、在Linux中安装SSH服务

apt-getinstall openssh-server

2、启动SSH服务

/etc/init.d/sshstart

3、检测SSH进程是否已经开启

ps -e| grep sshd

4、配置root用户的默认登录【这样每次打开SSH工具就不用登陆了，自动登陆到root上】

vim /etc/ssh/sshd_config

修改配置文件

#允许root用户登录，设置为yes

·PermitRootLogin: yes

保存，退出 :x

5、打开SSH客户端（这里使用SecureCRT）配置

·Linux下查询本机IP：ifconfig 查看inet addr

·SecureCRT中：Hostname输入查询到的IP，Username输入root

这里使用SecureCRT连接本地VMware是可能会遇到

“Connection timed out”，并且在Vmware的VM里面可以ping通宿主机，但是宿主机无法ping通VM。 解决方法：本地的网络设置里面的vmware的NAT网卡（Vmnet8）设置了手工填写地址和DNS，修改为自动获取即可。

五、配置FTP服务

为了方便Windows传输文件到Linux中，所以要配置FTP服务，使用客户端8UFTP

1、在Linux中安装FTP服务组件

apt-getinstall vsftpd

2、修改FTP用户的密码

passwdftp

3、设置FTP目录的控制权限为完全控制

chmod777 /srv/ftp （文件都上传到这个目录里）

4、修改配置文件

vim /etc/vsftpd.conf

修改：

anonymous_enable= NO //不允许匿名登录，必须使用正确的用户名和密码登录

local_enable=YES //允许本地用户登录

write_enable=YES //用户具有写权限

chroot_local_user= YES //将所有用户限制在主目录

chroot_list_enable= YES //启动限制用户名单

chroot_list_file=/etc/vsftpd.chroot_list //定义名单设置的目录

增加：

pam_service_name=vsftpd //增加到定义名单设置目录之后

保存退出

5、在名单设置目录中增加用户名

先增加文件/etc/vsftpd.chroot_list，然后在文件里面写上用户名ftp

vim/etc/vsftpd.chroot_list

输入ftp

保存退出

6、修改pam配置文件

vim /etc/pam.d/vsftpd

注释掉（添加#号）：

# auth required pam_shells.so

保存退出

7、启动ftp服务

servicevsftpd start

（重新启动服务 service vsftpdrestart）

8、连接客户端8UFTP

新站点：

主机名：IP地址

用户名：ftp

密码：123110（Linux中配置的ftp账号密码）

六、在Linux中安装JDK

1、下载Linux版本的JDK安装包jdk-8u101-linux-x64.tar

2、把JDK开发包利用8UFTP工具上传到Linux中（目录/srv/ftp中）

3、将上传后的文件进行解压缩处理

tar xzvf JDK安装包文件名 -C /usr/local

4、给的解压后的文件重命名

mv JDK原名 jdk

5、配置JDK

·打开环境文件

vim /etc/profile

·在最下面，输入

export JAVA_HOME=/usr/local/jdk

export PATH=$PATH:$JAVA_HOME/bin:

export CLASS_PATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存退出

6、让配置生效

source /etc/profile

7、测试 JDK

java 或 javac

七、配置SSH 免登录

1、设置虚拟网络

·进入Linux系统，在VM中选择编辑-虚拟网络配置，选择NAT模式

2、设置主机名称

vim /etc/hostname

把localhost 修改为 hadoopm

vim /etc/hosts

第一行增加

本机ip地址 hadoopm

3、重启Linux reboot

4、设置SSH免登陆

·删除根路径下.ssh

rm -rf~/.ssh

·在hadoopm主机上生成sshkey

ssh-keygen -t rsa（一直回车，不输入） //加密方式 rsa，可以选择其他方式

·将公钥信息保存在授权文件中

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

5、测试免登陆（即登录ssh）

ssh root@hadoopm 变为远程连接

（exit退出链接）

八、安装hadoop（伪分布模式）——版本2.7.3

1、下载hadoop安装包

2、解压重命名hadoop安装包

tar xzvf hadoop安装包文件名 -C /usr/local

mv hadooop安装包名 hadoop

3、修改环境变量

vim /etc/profile

export HADOOP_HOME =/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置生效

source /etc/profile

4、修改hadoop配置文件

配置：“core-site.xml”：Hadoop的核心信息，包括临时目录、访问地址等；

配置：“yarn-site.xml”：可以简单理解为配置相关job的处理；

配置：“hdfs-site.xml”：可以确定文件的备份个数、数据文件夹的路径；

·vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

更改JavaJDK路径

export JAVA_HOME=/usr/local/jdk/

（1）core-site.xml

·vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加：

######################################################################################

## 配置hadoop临时文件，如果不配置，那么就会在hadoop的文件夹里面生产tmp文件（"/usr/local/hadoop/tmp"），

## 那么hadoop重启此文件会被清空，也就是说此时hadoop的环境就失效了。 创建hadoop_tmp文件

## cd ~

##mkdir hadoop_tmp

#######################################################################################

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/root/hadoop_tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoopm:9000</value>

</property>

</configuration>

（2）hdfs-site.xml

vim/usr/local/hadoop/conf/hdfs-site.xml

######################################################################################

## “dfs.replication”：文件的副本数，一般情况下一个文件备份3份

## “dfs.namenode.name.dir”：定义名称节点路径

## “dfs.namenode.data.dir”：定义数据文件节点路径

## “dfs.datanode.data.dir”：名称节点的http访问路径

## “dfs.namenode.secondary.http-address”：第二名称节点

## “dfs.permissions”： 权限认证问题，关闭

#######################################################################################

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///usr/local/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///usr/local/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>hadoopm:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoopm:50090</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

（3）yarn-site.xml

·vim /usr/local/hadoop/conf/ yarn-site.xml

添加：

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>·

（4）mapred-site.xml

vim/usr/local/hadoop/conf/mapred-site.xml

添加：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoopm:9001</value>

</property>

</configuration>

5、由于hadoop属于分布式的开发环境，考虑到日后要进行集群的搭建，建议在“/usr/local/hadoop/etc/hadoop”目录下创建一个masters，里面写上主机名称（hadoopm，之前在hosts目录里面定义的主机名称），如果是单机环境，不写也没有关系。

cd/usr/local/hadoop/etc/hadoop

vimmasters

输入：hadoopm

6、修改从节点文件，增加hadoopm（此时主副节点为统一节点）

cd/usr/local/hadoop/etc/hadoop

vimslaves

输入：hadoopm

7、上述hdfs-site.xml文件将所有的namenode、datanode保存路径设置在/usr/local/hadoop/dfs目录中，虽然可以自动创建，但是建议手动创建者两个文件夹

cd/usr/local/hadoop/

mkdirdfs dfs/name dfs/data

如果hadoop出现问题需要重新配置时，请保证将这两个文件夹彻底清除掉，如果没有删除，则配置无效。

8、格式化文件系统namenode

hdfs namenode- format

如果可以正确执行，则出现如下信息：INFO util.ExitUtil: Exiting with status 0；

如果出错，此处出现： INFOutil.ExitUtil: Exiting with status 1，很有可能是之前的几个配置文件复制、粘贴时出现了错误。

9、启动hadoop

start-all.sh 每次启动hadoop都要输入

10、检测是否启动成功

jps 查看所有java进程（是否出现了5个重要进程，Jps进程忽略）

6116SecondaryNameNode

5940Datanode

6500Jps

5802NameNode

6270ResourceManager

6382NodeManager

或者登录 http：//ip地址:50070 http://ip地址:50030

（如果想用hadoopm从windows登录，则需要在windows下增加映射文件，

C:\Windows\System32\drivers\etchosts 追加 ip地址 hadoopm）

11、停止服务

stop-all.sh 使用jps查看进程

如果重启发现进程启动不完整的解决方案：http://www.linuxidc.com/Linux/2015-01/111891.htm

···配置完毕··