最近云计算搞得火热，于是对落地方案之一的Hadoop，进行了初次接触，并记录。
测试环境：
VMware9、Linux(deepin12.06_64版本，选用这个linux是因为有窗口环境可以编辑文件，访问windows共享文件，比较方便)
【安装系统】
1、安装Linux系统后创建hadoop用户及组，并建立/home/hadoop目录，保证目录可读写，后面安装及测试等操作均用hadoop用户。
2、修改各台主机的配置/etc/hosts，加入需要测试的主机对应名称及IP
192.168.0.10 master
192.168.0.11 slave
主机信息:
机器名 | IP地址 | 作用 |
master(Node1) | 192.168.0.10 | NameNode、JobTracker |
slave(Node2) | 192.168.0.11 | DataNode、TaskTracker |
slave(Node3) | ... | DataNode、TaskTracker |
【下载软件】
1、下载并安装jdk1.6的64位版本，过程略
//配置JDK环境变量
export JAVA_HOME=/opt/jdk1.6.0_39
//使配置生效
2、下载Hadoop1.1.1（开始下载的是.rpm，但用rpm安装时，屡屡报错，貌似rpm对安装环境要求苛刻），于是下了.tar.gz的文件，并解压至/usr/hadoop，确保hadoop用户对该目录可读写，即该目录owner是hadoop用户。
【安装软件】
1、安装ssh并实现无密码登录slave端，需要使用ssh-keygen -rsa，一路回车，将id_rsa.pub改名为authorized_keys放入slave机的.ssh目录（/home/hadoop目录下新建），详细过程略。
2、修改hadoop相关配置文件
vi hadoop-env.sh
export JAVA_HOME=/opt/jdk1.6.0_39
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
</configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1,/home/hadoop/name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1,/home/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
1） dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
2） dfs.data.dir是DataNode存放块数据的本地文件系统路径，逗号分割的列表。 当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。
3）dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。
注意：此处的name1、name2、data1、data2目录不能预先创建，hadoop格式化时会自动创建，如果预先创建反而会有问题。
配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。
vi masters：
输入：
master
vi slaves：
输入：
slave
配置完主机master环境后，可以拷贝至从机slave中了，使用
scp -r /usr/hadoop hadoop@slave:/usr/hadoop
建议主从机的环境一致
配置完成后，就可以格式化namenode了，如下命令:
如果没有报错的话，基本上没有什么问题了，启动Hadoop:
NameNode - http://master:50070/
JobTracker - http://master:50030/
3） 使用netstat –nat查看端口49000和49001是否正在使用。
4）将输入文件拷贝到分布式文件系统：
hadoop fs -mkdir input
等待一会儿后没有报错，想必是成功了，到各个目录下都没找到input目录，连后面创建的output目录也没有，比较奇怪。
将core-site.xml作为测试的输入文件：
hadoop fs -put conf/core-site.xml input
5）然后启动hadoop
hadoop jar ../hadoop-examples-1.1.1.jar wordcount input output
如果后面不加wordcount input output 可以查看例子jar包中提供的各种example
如果报错output目录存在，执行删除命令：
hadoop fs -rmr output
6）例子运行完毕后，查看结果如下命令：
hadoop fs -cat output/*
【添加节点】
可扩展性是HDFS的一个重要特性，首先在新加的节点上安装hadoop，然后修改$HADOOP_HOME/conf /master文件，加入 NameNode主机名，然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件，加入新加节点主机名，再建立到新加节点无密码的SSH连接
运行启动命令：
start-all.sh
然后可以通过http://(Masternode的主机名):50070查看新添加的DataNode
【负载均衡】
start-balancer.sh，可以使DataNode节点上选择策略重新平衡DataNode上的数据块的分布
【后记】
看到某牛人的《Hadoop 2.0.0-alpha尝鲜安装和hello world》
后，我抑郁了，好不容易搞懂了Hadoop1.1.1里面的job和task等机制，现在2.0版本又给搞没了，还“使用YARN替代了原来的map/reduce，YARN号称是第二代map/reduce，速度比一代更快，且支持集群服务器数量更大。”虽然号称支持更多的节点进行集群，以及namenode可以做HA，
但已是后话了，容我慢慢学了。