centos6.5安装配置spark

前端之家收集整理的这篇文章主要介绍了centos6.5安装配置spark前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

安装java

  1. 下载jdk
  2. 解压 tar -zxvf jdk-8u91-linux-x64.tar.gz
  3. 设置JAVA_HOME:修改配置文件vi /etc/profile,最后一行添加以下代码

    export JAVA_HOME=/usr/java/jdk1.8.0_91   
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  
    export PATH=$PATH:$JAVA_HOME/bin
  4. 命令:source /etc/profile 使文件立即生效

  5. 命令:java -version 检测是否安装成功

安装hadoop

安装hadoop的文章链接

安装spark

  1. 下载spark
  2. 解压
  3. 修改配置文件vi /etc/profile,最后一行添加以下代码
export SPARK_HOME=/home/spark
export PATH=$PATH:$SPARK_HOME/bin
  1. 命令:source /etc/profile 使文件立即生效
  2. spark-shell 命令,即可启动spark单机模式
  3. 配置spark-env.sh,进入spark/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
#以下添加在末尾
export  SPARK_MASTER_IP=192.168.232.130
export  SPARK_LOCAL_IP=192.168.232.130

192.168.232.130为本机的ip
7. spark/sbin/start-all.sh 命令,即可启动伪分布式模式

原文链接:https://www.f2er.com/centos/381804.html

猜你在找的CentOS相关文章