Ubuntu 14.04下 Hadoop3.0-alpha 的安装

前端之家收集整理的这篇文章主要介绍了Ubuntu 14.04下 Hadoop3.0-alpha 的安装前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
  • 前提准备

    • 安装JDK 和 JRE

      • jdk 安装

        • 网上下载jdk1.7+包
        • 放入/usr/java/jdk1.8.0目录下
        • 在~/.bashrc 文件添加如下语句

          1. export JAVA_HOME=/usr/java/jdk1.8.0
          2. export JRE_HOME=${JAVA_HOME}/jre
          3. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
          4. export PATH=${JAVA_HOME}/bin:$PATH
        • 如果后面启动Hadoop的时候还报JAVA_HOME not found 则在/etc/profile 下面添加如下语句:
          1. export JAVA_HOME=/usr/java/jdk1.8.0
          2. export JRE_HOME=${JAVA_HOME}/jre
          3. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
          4. export PATH=${JAVA_HOME}/bin:$PATH
      • jre 安装

        1. sudo apt-get install default-jre
    • ssh 安装

      • 安装命令

        1. sudo apt-get install ssh
      • copy 秘钥

        1. ssh localhost
        2. exit # 退出 ssh localhost
        3. cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost
        4. ssh-keygen -t rsa # 一直按回车就可以
        5. cp id_rsa.pub authorized_keys
  • 开始安装
  • 运行example

    • 单节点运行

      • 还是进入Hadoop目录,执行下述命令

        1. mkdir input
        2. cp etc/hadoop/*.xml input
        3. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'
        4. cat output/*
      • 如果有错的话,请看这篇博文,这是我遇到的错误

    • 伪多节点运行

      • 首先需要明白hdfs系统,hdfs是一个并行的文件系统,我们要多节点运行就需要文件读写都在hdfs文件系统中
      • 格式化文件系统: bin/hdfs dfs -format

      • 启动hdfs系统

        1. sbin/start-dfs.sh
      • 在hdfs中创建文件

        1. bin/hdfs dfs -mkdir /user
        2. bin/hdfs dfs -mkdir /user/hadoop
        3. bin/hdfs dfs -mkdir /user/hadoop/input
        4. bin/hdfs dfs -put etc/hadoop/*.xml /user/hadoop/input
      • 执行例子

        1. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'
      • 如果有错的话,请看这篇博文,这是我遇到的错误

猜你在找的Ubuntu相关文章