本博客hadoop版本是hadoop 0.20.2。
安装hadoop-0.20.2-eclipse-plugin.jar
- 下载hadoop-0.20.2-eclipse-plugin.jar文件，并添加到eclipse插件库，添加方法很简单：找到eclipse安装目录下的plugins目录，直接复制到此目录下，重启eclipse
- 依次点击eclipse工具栏的window-----show view ------other在弹出的窗口中输入map,确认找到如下所示
到这里插件安装成功
map/reduce配置
- 配置hadoop installation directory
依次点击eclipse的window-----preference,在弹出的窗口中找到Hadoop Map/Reduce，选择hadoop 安装文件地址（此处的安装文件不需要和集群中的hadoop环境完全一样）
- hadoop map/reduce locations配置
在map/Reduce视图下，点击如下图标
会弹出窗口如下，按照图中提示输入对应的内容
在Advanced Parameters选项卡，输入内容如下，这里我截两个图
其他设置
验证hadoop map/reduce locations配置
在Map/Reduce的project Explorer视图下，点击dfs下自己配置的map/reduce locations,如果各个节点均可以展开则说明配置没有问题
测试wordcount程序
在hdfs文件系统添加input目录
hadoop fs -mkdir input
在eclipse刷新dfs locations并上传文件，这里我上传了两个文件，文件内容添加部分空格（wordcount根据空格进行统计单词）
运行wordcount
运行wordcount需要命令行参数，参数有两个，第一个是要统计的文件夹hdfs路径,另一个是输出的路径;
这里注意输出路径是上传文件路径的父目录，填写的时候用dfs locations视图双击文件，即可查看该文件的hdfs路径，我们要的是他的目录，这里就是hdfs://192.168.88.128:9000/user/root/input，另外的一个输出参数我写的是hdfs://192.168.88.128:9000/user/root/output
执行过后刷新dfs locations，可以看到在input同级的目录有了output目录
在master机器上执行命令
hadoop fs -lsr /
也可以看到多出了一个output目录，同时其下边多了个文件，此文件就是统计结果
时间不早了，先写到这里吧，明天我会上传相关的插件，同时会上传几个hadoop相关的pdf文档
版权声明：本文为博主原创文章，未经博主允许不得转载。