当前位置: 代码迷 >> Eclipse >> Hadoop2.4.0 中Eclipse 平台的筹建
  详细解决方案

Hadoop2.4.0 中Eclipse 平台的筹建

热度:304   发布时间:2016-04-22 23:47:47.0
Hadoop2.4.0 中Eclipse 平台的搭建

一、Hadoop2.4.0环境下Eclipse平台的搭建

1.安装Eclipse

  对于hadoop集群,我们将eclipse安装在master节点上,首先下载Eclipse安装包(如:eclipse-jee-luna-SR1-linux-gtk.tar.gz)然后用tar -zxvf 命令解压,并把解压后的目录移动到/usr/local路径下,然后启动eclipse:

下载网址:http://www.eclipse.org/downloads/?osType=linux&release=undefined

  2.eclipse上安装hadoop插件

       由于我们使用的是hadoop2.x版本的,所以插件我们也要下载 相应的版本(下载地址:http://pan.baidu.com/s/1mgiHFok)。下载的zip文件包含了源码,我们使用使用编译好的jar即可。解压后,release目录中的hadoop.eclipse-kepler-plugin-2.2.0.jar就是编译好的插件。我们将该jar包移动到/usr/local/eclipse/plugins目录下,然后重启eclipse

当从上图中左侧"Project Explorer"下面发现"DFSLocations",说明eclipse已经识别刚才放入的HadoopEclipse插件了

3.配置Hadoop installation directory    

         选择"Window"菜单下的"Preference"(如上图),然后弹出一个窗体,在窗体的左侧,有一列选项,里面会多出"HadoopMap/Reduce"选项,点击此选项,设置Hadoop的安装目录(如我的Hadoop目录是:/usr/hadoop)。结果如下图:

4.配置Map/Reduce Locations

打开Window—Open Perspective—Other弹出一个窗体,从中选择"Map/Reduce"选项即可进行切换:

点击OK按钮后,Eclipse软件的右上角活着右下角,会有如图所示的标志:


点击右下角标志:

选择“小象”图标,打开Hadoop Location配置窗口,并进行先关设置:

点击"finish"之后,会发现Eclipse软件下面的"Map/Reduce Locations"出现一条信息,即我们刚才建立的"Map/ReduceLocation".

查看HDFS文件系统,并尝试建立文件夹和上传文件。当我们在/usr/hadoop目录下有inputoutput目录时:

此时点击eclipse软件左侧的"DFS Locations"下面:我们也看到了inputoutput目录,如图:


到此为止,我们的Hadoop Eclipse开发环境已经配置完毕。

二、Eclipse调试及运行mapreduce程序

     eclipse运行mapreduce程序,便于mapreduce程序的编写和调试。我们以用测试hadoop自带的mapreduces程序WordCout为例(存放路径/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-example-2.4.0.jar)加以说明。


1.创建Mapreduce项目

"File"菜单,选择"Other",找到"Map/ReduceProject",然后选择它:

2.创建WordCount类:

选择"WordCountProject"工程,右击弹出菜单,然后选择"New",接着选择"Class",然后填写如下信息

然后在WordCount类中编写Mapreduce程序

3.运行WordCount程序

1)在HDFS上创建目录input1,并上传文件:


【注:文件中的内容为:file1.txt:hello Word   file2.txt hello Hadoop

2)配置运行信息:

点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出目录:

hdfs://master:9000/user/hadoop/input1

hdfs://master:9000/user/hadoop/output1


如果点击run按钮运行后,控制台出现:


那么我们需要在该项目的src目录下创建log4j.properties文件,然后对其配置,配置内容如下即可:


注:log4j文件的配置信息详见  http://blog.csdn.net/newhappy2008/article/details/2499250

4.结果查看:

通过命令查看:


DFS Locations中查看:

运行后Wordcount程序后,刷新hadoop目录,出现output1目录,打开其目录下的part-r-00000文件,亦可得运行结果:










版权声明:本文为博主原创文章,未经博主允许不得转载。

  相关解决方案