MapReduce整体介绍

MapReduce框架(Map/Reduce) MapTask/ReduceTask 数据分发机制
MapTask接口实现类 : 对一行数据进行处理,map方法
ReduceTask接口实现类：对一组数据进行处理，reduce方法
MapReduce工作机制
划分输入切片： 数据切片
job.split文件
分布式数据处理
K相同的KV数据分配给同个ReduceTask
组合拳：CompareTo + Partation + Group
分区控制/分组控制
MapReduce编程模型
map task的实现
读数据：TextInputFormat
SequenceFileInputFormat
DBInputFormat    

portation 分区
调用Partitaioner 的getPartition 决定数据分区

reduce task的实现
读数据：下载"区"数据，并且合并多个"同区"并且排序
写数据：TextInputFormat
SequenceFileOutputFormat
DBOutputFormat

GroupingComparator：分组
确定那些数据属于同一组

对倾斜数据的处理
1. 通过Combiner组件进行maptask端局部聚合数据减轻倾斜影响
2. 通过打算倾斜数据来消除倾斜的影响，通过在Key值后面添加随机值，这样就可以均衡的分布在ReduceTaks端。


MapReduce编程模型具体实现及处理流程：
MRAppMaster
YarnChild（maptask/reducetask）
main()
1. MapTask:
->TextInputFormat
->LineRecordFromat
->Mapper
->map()
->context   --->  MapOutputCollector 环形缓存,存在大小限制
->spilter (80%) 分区(partation)，排序(compare)
->write 溢出文件(可能包含多个文件，有序文件) 写本地磁盘
->merge 分区有序，分区索引文件
多个maptask会生成多个merge文件
2. Shuffle: Store && Rest
map task 生成的数据传输给reduce task 的过程                    多个maptask会生成多个merge文件,这些文件会保存在NodeManager中，NodeManager具有Web服务，ReduceTask会通过Web服务下载merge文件，进行处理        
3. ReduceTask
-> http下载：从多个DataManager中下载merge文件下载单个分区的KV数据，多个文件合并为一个文件
-> Reducer
->reduce
->context    
->KV  ---->   TextInputFormat(可重写)
->getRecordWrite
->recordWrite
->write
->Local/HDFS 文件
多个ReduceMask 会生成多个 Local/HDFS 文件

数据输入输出类型：
TextInputFormat
TextOutputFormat
SequenceFile

Job.setInputFormat
Job.setOutputFormat
Job.setPartation
Job.setGroupComparator
Job.setMapperClass
Job.setReduceClass
Job.setReduceTaskNum
Job.setCombinerClass


YARN框架：
ResourceManager 不一定对应NameNode
ApplicationMaster 可能在任何DataNode上
DataManager    对应DataNode
容器
MapTask/ReduceTask

YARN WEB端口：8088
配置文件：yarn-site.xml,mapred-site.xml        
CPU/MEMERY配置：1Core/2G

Mapper 
map(key,value,context)

Reducer()
reduce(key,interator,content)
cleanUp(content)

Partation(分区) ：配合Reducer进行分组处理
WritablePartation
hashCode(key,value,content)

Comparator(分组)
WritableComparator
compare

Content
configuration
spiit
FileSplit/DBSplit
filename/dbname
offset/linenum


### 执行(三种方式)：
1. (任务下发)windows下调用yarn启动job：需要在客户端配置configuration
2. (生产) linux下调用yarn启动job：需要在启动jar包的主机配置 相关xml参数
3. (调试) windows下执行local job：需要包含hadoop运行环境，即下载windos执行包，并且配置HADOOP_HOME路径并且添加到PATH