当前位置: 代码迷 >> 数据仓库 >> hadoop学习(Map、Reduce、日志分析跟数据挖掘、大数据处理)
  详细解决方案

hadoop学习(Map、Reduce、日志分析跟数据挖掘、大数据处理)

热度:223   发布时间:2016-05-05 15:38:32.0
hadoop学习(Map、Reduce、日志分析和数据挖掘、大数据处理)

对于hadoop,我也处于了解学习中,参考大量资料,现在同大家分享下学习内容。

Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper

等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。

HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞

吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理如下图所示: 采用Master/Slave 结构。NameNode 维护集群内的元数据,对外提供创建、打开、删除

和重命名文件或目录的功能。DatanNode 存储数据,并提负责处理数据的读写请求。DataNode

定期向NameNode 上报心跳,NameNode 通过响应心跳来控制DataNode。

InfoWord 将MapReduce 评为2009 年十大新兴技术的冠军。MapReduce 是大规模数据

(TB 级)计算的利器,Map 和Reduce 是它的主要思想,来源于函数式编程语言,它的原

理如下图所示:

Map 负责将数据打散,Reduce

负责对数据进行聚集,用户只需要实

现map 和reduce 两个接口,即可完成

TB 级数据的计算,常见的应用包括:

日志分析和数据挖掘等数据分析应用。

另外,还可用于科学数据计算,如圆周

率PI 的计算等。

Hadoop MapReduce 的实现也采用

了Master/Slave 结构。Master 叫做

JobTracker,而Slave 叫做TaskTracker。

用户提交的计算叫做Job,每一个

Job 会被划分成若干个Tasks。JobTracker

负责Job 和Tasks 的调度,而TaskTracker

负责执行Tasks。


  相关解决方案