基于CentOS的Hadoop和Spark分布式集群搭建过程

CentOS 前端之家
前端之家收集整理的这篇文章主要介绍了基于CentOS的Hadoop和Spark分布式集群搭建过程，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

1. 软件版本，IP地址，修改主机名和hosts文件

（1）软件版本：CentOS 7.0；JDK 8u141；Hadoop 2.7.3；Scala 2.11.8；Spark 2.2.0。

（2）IP地址：192.168.106.128（主节点）；192.168.106.129（从节点）；192.168.106.130（从节点）。

配置服务器IP地址，如下所示：

vim /etc/sysconfig/network-scripts/ifcfg-ens33 
BOOTPROTO=static
ONBOOT=yes #系统启动时是否激活网卡
IPADDR=192.168.106.xxx
GATEWAY=192.168.106.2
NETMASK=255.255.255.0
DNS1=192.168.106.2
NM_CONTROLLED=no #如果为yes，那么实时生效
service network restart

（3）修改主机名：hostnamectl set-hostname "hostname"。

（4）修改/etc/hosts文件：192.168.106.128 Master；192.168.106.129 Slave1；192.168.106.130 Slave2。


2. 配置SSH无密码登录

（1）yum install openssh-server；yum install openssh-clients

（2）ssh-keygen -t rsa -P ''

（3）sudo vim /etc/ssh/sshd_config，如下所示：

RSAAuthentication yes #启用RSA认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径

（4）拷贝公钥

scp ssw@slave1:~/.ssh/id_rsa.pub  ~/.ssh/slave1_rsa.pub
scp ssw@slave2:~/.ssh/id_rsa.pub  ~/.ssh/slave2_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat slave1_rsa.pub >> authorized_keys
cat slave2_rsa.pub >> authorized_keys
scp authorized_keys ssw@slave1:~/.ssh/
scp authorized_keys ssw@slave2:~/.ssh/
（5）sudo chmod 700 ~/.ssh；sudo chmod 600 ~/.ssh/authorized_keys；service sshd restart

说明：除（4）仅在Master上操作外，其它均在Master，Slave1，Slave2上操作。


3. Java和Scala环境搭建

（1）Java环境搭建

编辑/etc/profile，如下所示：

export JAVA_HOME=/usr/local/jdk1.8.0_141
export JRE_HOME=/usr/local/jdk1.8.0_141/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

（2）Scala环境搭建

编辑/etc/profile，如下所示：

export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH


4. Hadoop环境搭建

（1）编辑/etc/profile，如下所示：

export HADOOP_HOME=/opt/hadoop-2.7.3/
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_ROOT_LOGGER=INFO,console
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

（2）编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，如下所示：

export JAVA_HOME=/usr/local/jdk1.8.0_141
（3）编辑$HADOOP_HOME/etc/hadoop/slaves，如下所示： 
Slave1
Slave2
（4）编辑$HADOOP_HOME/etc/hadoop/core-site.xml，如下所示： 
<configuration>
	<property>
		<name>fs.defaultFS</name>
          	<value>hdfs://Master:9000</value>
     	</property>
     	<property>
          	<name>hadoop.tmp.dir</name>
          	<value>/opt/hadoop-2.7.3/tmp</value>
     	</property>
</configuration>
（5）编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml，如下所示： 
<configuration>
	<property>
      		<name>dfs.namenode.secondary.http-address</name>
      		<value>Master:9001</value>
    	</property>
    	<property>
      		<name>dfs.replication</name>
      		<value>1</value>
    	</property>
    	<property>
      		<name>dfs.namenode.name.dir</name>
      		<value>file:/opt/hadoop-2.7.3/hdfs/name</value>
    	</property>
    	<property>
      		<name>dfs.datanode.data.dir</name>
      		<value>file:/opt/hadoop-2.7.3/hdfs/data</value>
    	</property>
</configuration>
（6）编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml，如下所示： 
<configuration>
	<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>
（7）编辑$HADOOP_HOME/etc/hadoop/yarn-site.xml，如下所示： 
<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
        	<name>yarn.resourcemanager.hostname</name>
         	<value>Master</value>
     	</property>
     	<property>
         	<name>yarn.nodemanager.aux-services</name>
         	<value>mapreduce_shuffle</value>
     	</property>
     	<property>
        	<name>yarn.resourcemanager.address</name>
         	<value>Master:8032</value>
     	</property>
     	<property>
         	<name>yarn.resourcemanager.scheduler.address</name>
         	<value>Master:8030</value>
     	</property>
     	<property>
         	<name>yarn.resourcemanager.resource-tracker.address</name>
         	<value>Master:8031</value>
     	</property>
     	<property>
         	<name>yarn.resourcemanager.admin.address</name>
         	<value>Master:8033</value>
     	</property>
     	<property>
         	<name>yarn.resourcemanager.webapp.address</name>
         	<value>Master:8088</value>
     	</property>
</configuration>
（8）配置Slave1和Slave2 
scp -r /opt/hadoop-2.7.3 root@Slave1:/opt
scp -r /opt/hadoop-2.7.3 root@Slave2:/opt
（9）启动Hadoop集群 
sudo chmod -R a+w /opt/hadoop-2.7.3
hadoop namenode -format
/opt/hadoop-2.7.3/sbin/start-all.sh
（10）查看集群是否启动成功

Master：SecondaryNameNode；ResourceManager；NameNode。Slave：NodeManager；Datanode。


5. Spark环境搭建

（1）编辑/etc/profie，如下所示：

export SPARK_HOME=/opt/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin
（2）编辑$SPARK_HOME/conf/spark-env.sh，如下所示： 
export JAVA_HOME=/usr/local/jdk1.8.0_141
export SCALA_HOME=/usr/local/scala-2.11.8
export HADOOP_HOME=/opt/hadoop-2.7.3
export SPARK_HOME=/opt/spark-2.2.0
export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=192.168.106.128
export SPARK_DRIVER_MEMORY=1G
（3）编辑$SPARK_HOME/conf/slaves，如下所示： 
Master
Slave1
Slave2
（4）配置Slave1和Slave2 
scp -r /opt/spark-2.2.0 root@Slave1:/opt
scp -r /opt/spark-2.2.0 root@Slave2:/opt
（5）启动Spark集群 
/opt/spark-2.2.0/sbin/start-all.sh

（6）查看集群是否启动成功

Master：Master，Worker。Slave：Worker。


参考文献：

[1]Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程：http://www.cnblogs.com/zengxiaoliang/p/6478859.html

原文链接：https://www.f2er.com/centos/376644.html

猜你在找的CentOS相关文章

Centos7离线安装gcc4.8
有时候CentOS工作在无互联网的环境下，需要在离线环境下安装一些组件，这次实现的是模拟在...
CentOS7离线安装devtoolset-9并编译redis6.0.5
首先参照https://www.cnblogs.com/wdw984/p/13330074.html，来进行如何安装Centos和离线下...
使用Nginx在80端口上代理多个.NET CORE网站
有两个.NET CORE3.1网站部署在CentOS7上（内网IP是192.168.2.32），现在想实现访问http://...
CentOS7中配置vsftpd
1、yum -y install vsftpd 安装vsftpd 2、配置vsftpd的配置文件（/etc/vsftpd/vsftpd.conf...
CentOS7离线安装Mysql8.0
首先去mysql官网下载mysql的离线rpm安装包（https://downloads.mysql.com/archives/commun...
CentOS中增加网络连接数的方法
CentOS默认对外访问，发起的TCP链接总数小于28232个。 可以通过以下命令的结果计算出来 $ ...
VMware安装Centos7虚拟机
首先安装虚拟机很简单，所以呢，具体的安装过程就引用别人的博客，这篇文字很详细，引用之...
[Linux] 解决CentOS下Requires: libjson-c.so错误
当安装某些rpm包的时候 , 会爆出这个错误 Requires: libjson-c.so json-c是c语言下的json库...
阿里云centos7安装mysql8数据库
linux系统安装mysql8
centos安装mysql
一、安装 二、修改密码 三、修改远程连接权限(为了使用navicat)
LinuxWindowsCentOSUbuntuNginxWebServiceScalaMemcacheApacheRedisDockerBashAzureTomcatLNMPShell数据结构服务器运维网络安全
xebugnodemondocker-copydcoselasticsearcwindows-contdocker-windodocker-awsamazon-cloudenvoyproxyhashicorp-vaswisscomdevkafka-pythonzscalerphoton-osdocker-swarmkamongoogle-cloudconcoursewso2-ampersistent-vapi-managerprocess-manamanjarojenkins-workhypriotremoteapikeystonejsbitcoindbitcoin-test