当前位置: 代码迷 >> 综合 >> C++ Hadoop实战备忘
  详细解决方案

C++ Hadoop实战备忘

热度:40   发布时间:2024-01-17 14:59:21.0
前言:hadoop用于解决大数据处理问题。
看到这么火,咱也来凑把热闹,瞧瞧到底是什么神奇的技术。
实战过程,还是很波折。
毕竟,对这些hadoop的命令不是很熟。
所幸,天不负有心人,终于跑通了第一个示例。
对我而言,这个的意义,不亚于输出了开天辟地的“hello world”。

配置过程中出错时,不要泄气,一般是由于路径配置不对引起,可与本文档对比查错。

操作系统:Ubuntu 10.04 LTS

JDK:jdk-6u18-linux-i586.bin

Hadoop:hadoop-0.21.0

说明:hadoop版本一定要与本文档匹配,新版本目录格式已做修改。

步骤一:配置环境
本步骤参见:Hadoop环境搭建——单节点篇

  1、安装jdk1.6.0_18
    1)在usr下面新建一个文件夹Java,然后将jdk复制过来.
      sudo mkdir /usr/Java
      sudo cp jdk的路径 /usr/Java
    2)进入到Java目录下,改变文件权限为可执行
      cd /usr/Java 
      sudo chmod u+x jdk-6u18-linux-i586.bin
    3)执行安装
      (现象为Unpacking....加一连串解压信息)
      sudo ./jdk-6u18-linux-i586.bin
  2、安装hadoop0.21.0
    1)将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内
      sudo cp hadoop的路径 /usr/local
    2)进入到local目录下,解压hadoop-0.21.0.tar.gz
      cd /usr/local
      sudo tar -xzf hadoop-0.21.0.tar.gz
    3)为了方便管理,将解压后的文件夹名改为hadoop
      sudo mv hadoop-0.21.0 hadoop
  3、创建一个名为hadoop的用户和用户组
    1)创建一个名为hadoop的用户组
      sudo addgroup hadoop
    2)创建一个名为hadoop的用户,归到hadoop用户组下
      sudo adduser --ingroup hadoop hadoop
    3)用gedit打开etc下的sudoers文件
      sudo gedit /etc/sudoers
    4)在 root   ALL=(ALL)  ALL 下面添加如下一行,然后保存关闭gedit
      hadoop  ALL=(ALL)  ALL
  4、配置环境变量
    1)用gedit打开etc下的profile文

  相关解决方案