vmare Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接

搭建和费劲，这里先踩踩坑，以后也少遇到些问题，搭建也顺利，有兴趣的， 需谨慎

最近要上Hadoop 了，这里稍微总结下 hadoop 开发环境，因为不是边操作，边写博客，可能没那么细，之后有机会搭建，会重新补全，

但是这里会列出安装过程中遇到都问题与解决方案

vmare ubuntu 安装

1、安装vmare：

这个给出网址：请参照：Vmare安装

注意 注册码：1F04Z-6D111-7Z029-AV0Q4-3AEH8/

可能遇到问题：

解决办法：

关掉防火墙 一类安全软件

2、下载ubuntu：ubuntu下载

3、vmare 下安装ubuntu :

给出网址：Vmare下安装ubuntu

没啥说都，重点说是可能遇到的问题：

问题：

解决办法如下（亲测可用）：

在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法：
1.在启动Ubuntu的时候按住左Shift键；
2.Ubuntu开机时将显示GRUB启动选项；
3.接下来选择Ubuntu的高级选项（Advanced options for Ubuntu）；
4.然后进入Ubuntu的恢复模式（Ubuntu,with Linux 4.7.x.x-generic (recovery mode)）；
5.在Recovery Menu中选择root进入root shell；
6.输入如下命令：

mount -o remount,rw /

7.打开blacklist.conf

  vi /etc/modprobe.d/blacklist.conf

8.在文件最后添加一行

blacklist intel_powerclamp

9.重启

reboot

上面解决不了：

解决办法2：

piix4_smbus ****host smbus controller not enabled
解决方法：
#root@Nagios ~# lsmod | grep i2c_piix4  
 i2c_piix4              12574  0  
 i2c_core               31274  1 i2c_piix4  
 
#root@Nagios ~:vi  /etc/modprobe.d/blacklist.conf 
 blacklist i2c_piix4  
 
#root@Nagios ~:reboot

如何解决：

安装Vmare Tool:安装VMareTool

操作就不细说：因为我这已经安装了，如果没安装，会有安装VmareTool 提示：

安装搜狗输入法：搜狗输入法安装

1、如下

2. 等一会之后 ubuntu 界面上 会出现 Vmare 驱动器之类的 ：Vmtool安装

要注意的问题是吧驱动器里面都tar.gz 赋值到桌面后解压

然后 运行 ：

vmware-install.pl

进行安装。

就可以解决自适应本地屏幕大小都问题。

ubuntu 安装 hadoop

环境好了：ubuntu 安装hadoop:@L_301_6@

Jdk地址：JDK地址 我这里下载jdk 1.8 1.6 与1.8区别，有时间会总结

hadoop下载地址：hadoop下载 这里下载 2.7.3

根据上面的连接会安装成功：但是也有问题 hadoop shell 命令：hadoop shell 命令

正确应该是：

hdfs dfs -mkdir -p /user/hadoop

-p 前面少了 -mkdir

mkdir 是创建文件夹，如果你想看你创建都文件夹，进行如下操作：hdfs dfs -ls /user/ 这个注意 最后使用绝对路径， 否则或包车，no directory

eclipse 配置hadoop

eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop

如果你不想用ant 去编译 githup 上hadoop 源码的话：

需要几个文件：

hadoop- eclipse 插件：hadoop eclipse 插件

下载之后放到eclipse 下eclipse plugins 文件夹下

把下载的Hadoop 2.7.3 在 Windows上解压后，参照博客：hadoop配置eclipse

重启eclipse ，你的eclipse 出现map reduce 表示成功。

到 下载：

具体操作，见博客：dll文件放置

除了这个配置，还要讲hadoop.dll 放到 system32 下

配置eclipse:eclipse 配置

简明eclipse hadoop配置：简明hadoop配置

具体我就不说了：

给个demo吧：

看我的配置

其次：

core-site.xml 不用localhosy 用：

具体ip 从哪来 自己 ifconfig ，我这个就不细说了 考虑安全问题，我就不贴图了

eclispse中配置：

配置2：

上面hadoop.tmp.dir 中 和core-site.xml 配置一样

hdfs-site.xml 配置：

到此就结了，可能细化要分成好几篇才能写完，大致粗的描述下。