学习笔记-MapReduce过程

悠悠 2023-02-23 07:57 12阅读 0赞

## MapReduce过程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25qX2hhbw_size_16_color_FFFFFF_t_70]

最外层的黑框是一个机器的边界

### map task ###

*  读文件

InputFormat(主要是TextInputFormat)–>RecorderReader–>read()一次读一行，返回<key,value>

//InputFormat抽象类,只有两个抽象方法
    public abstract List<InputSplit> getSplits(JobContext) throws IOException,InterruptedException;
    public abstract RecordReader<K,V> createRecordReader(InputSplit var1, TaskAttemptContext var2) throws IOException, InterruptedException;
    
    //FileInputFormat extends InputFormat
    //实现getSplits方法
    
    //TextInputFile extends FileInputFormat(还有许多子类)
    //实现 createRecordReader方法(处理文本文件)

*  <key,value>值被Mapper的map()方法调用，处理后形成新的<k,v>,通过`context.write(k,v)`输出到`OutputCollection`收集器
 *  `OutputCollection`把收集的键值对写入环形缓冲区(环形数组，不会越界，默认大小为100M,只能写到80%，打到时触发spill溢出)

> shuffle:MR处理流程中的一个过程，分散在各个Map task和Reduce task节点完成，总体分为3个操作
> 
> 1.  分区：patition
> 2.  排序：sort，根据key
> 3.  Combinner进行局部value合并

*  spill溢出前，在环状缓冲区，进行分区，每一个<k,v>对应一个hash值,由hash值确定patition值，相同的在同一分区，然后根据patition值和key升序排序(在同一patition内按key排序)
 *  环形缓冲区对文件处理后，不断spill(溢出)到本地文件(若文件较大，可能溢出多个文件)
 *  对溢出文件合并(merge)，使用归并排序，合并后分区且区内有序(combiner)

### Reduce Task ###

*  根据Reduce分区号，从各个Map Task节点复制相同分区号的数据到磁盘本地目录(合并)
 *  同combiner,使用归并排序，将不同maptask,同一分区文件，合并成一个大文件
 *  shuffle结束，reduce task调用GroupingComparator实现数据分组，一组一组(k,v)键值对，调用reduce()方法，处理数据
 *  通过OutputFormat()写入文件，序列化

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25qX2hhbw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200706020811775.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25qX2hhbw==,size_16,color_FFFFFF,t_70