轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.27 初识InputFormat&InputSplit

浅浅的花香味﹌ 2024-03-22 19:33 12阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.27 初识InputFormat&InputSplit

![在这里插入图片描述][f524ba5f62b946e292df1493ee2a906d.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.27 初识InputFormat&InputSplit ######

之前我们已经大概把序列化的东西说完了

![在这里插入图片描述][19f98ca67b2f4e0e9c053617ca241260.png_pic_center]

我们接着看

![在这里插入图片描述][67502832b39446d8a74769d7c7ae00f8.png_pic_center]

这个数据是怎么读进来的？

即InputFormat ：输入的格式

查看源码

![在这里插入图片描述][6096001ad187458392e23868ed41f4c5.png_pic_center]

再进父类

![在这里插入图片描述][72d2605435a14b5fa18f3412b3f76a0d.png_pic_center]

两个泛型，一个抽象类

![在这里插入图片描述][35b9984bb72348dda7f06da0f9b31372.png_pic_center]

InputFormat描述了Map-Reduce作业的输入规范。

![在这里插入图片描述][42b13929e34e411cbe91cea38f7bd2e8.png_pic_center]

Map-Reduce框架依赖于作业的InputFormat：

![在这里插入图片描述][1a93ad74870942d094b8fb995c2ab2d3.png_pic_center]

1.  验证检查作业的输入规范。
2.  将输入文件拆分为逻辑inputsplit，然后将每个inputsplit分配给单独的Mapper。
    
    这里值得插一嘴
    
     *  HDFS：Block为单位进行存储
     *  MR：是以InputSplit为单位的 是一个逻辑上的概念
        
        InputSplit是交给MapTask来运行的
3.  提供RecordReader实现，用于从逻辑InputSplit收集输入记录，以供Mapper处理。

流程：InputFormat ==> Mapper ==> Shuffle ==> Reducer ==> OutputFormat

核心方法：

![在这里插入图片描述][98269fed27224eda8be559f42d9b1a15.png_pic_center]

*  获取Splits
    
    ![在这里插入图片描述][df0f03e05f514fb181c378daffa17be5.png_pic_center]
    
    毕竟一个文件可能会被拆分成多个Split
 *  创建读取器，用于读取数据
    
    ![在这里插入图片描述][1d069e13834b4541bc2ea7b05c036864.png_pic_center]
    
    读的就是InputSplit

再往下细分：输入数据是如何读取进来的？ `InputFormat`

InputFormat<K, V> 这个东西是交给Mapper 用的

我们进行一个如下实验：

修改我们之前写的那个词频统计程序的Driver

![在这里插入图片描述][52882f256d504f709490317c406fc2d9.png_pic_center]

![在这里插入图片描述][39df1f12d90f46d68f213425cff70c5b.png_pic_center]

暂时只用一个

运行结果

![在这里插入图片描述][af71e84d3e804915b005210131c1d9ae.png_pic_center]

OK， 结果出来了，看看日志

![在这里插入图片描述][b6f10c2a55e54f358afd8854160109bb.png_pic_center]

这里说，总的输入文件数是1个，

![在这里插入图片描述][214f715e08844345b2747ea11f84cd88.png_pic_center]

然后就只切成了一个片

所以这就是我们要重点关注的：InputSplit和Mapper的关系

我们把三个文件都放出来

![在这里插入图片描述][c40988dbe6524cc1b738ccb8cc9ded79.png_pic_center]

运行结果

![在这里插入图片描述][90aecb3b609747f0be61eb2b0b414c44.png_pic_center]

OK，正确运行，看看日志

![在这里插入图片描述][92c469d0c64842c7af62c2231f1cbd91.png_pic_center]

前提：文件很小 一个文件对应一个InputSplit，也就是对应一个Mapper

这种机制涉及到一个并行度的问题

[f524ba5f62b946e292df1493ee2a906d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d3d8c1b703994023bad5176899e02e89.png
[19f98ca67b2f4e0e9c053617ca241260.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/fec1537fb5bb451e92553d199a7cd69d.png
[67502832b39446d8a74769d7c7ae00f8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/92f51f4477be48b7848ed43ab12072b4.png
[6096001ad187458392e23868ed41f4c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/ff182d2eedc9428099c6ce6f4de04077.png
[72d2605435a14b5fa18f3412b3f76a0d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/35f125192b3e4ea3bc96faf954edc70d.png
[35b9984bb72348dda7f06da0f9b31372.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c98a5d8fe269418d909fb4fb31e31d38.png
[42b13929e34e411cbe91cea38f7bd2e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/7e63f78189924ede95ebeec86615c972.png
[1a93ad74870942d094b8fb995c2ab2d3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/f5b22aea75124a118b84ce778e709f19.png
[98269fed27224eda8be559f42d9b1a15.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6d3fffab9ef34f6d8245febe22e9cab7.png
[df0f03e05f514fb181c378daffa17be5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/4cc57a02ba4846f5996578bc9bb2e885.png
[1d069e13834b4541bc2ea7b05c036864.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/474756cd35014e57a86b813ad2fb1488.png
[52882f256d504f709490317c406fc2d9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/1df03801721049e4b940b883f56b8178.png
[39df1f12d90f46d68f213425cff70c5b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/80de1a2b2d6b457eb89a3dcffc1ff5e6.png
[af71e84d3e804915b005210131c1d9ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/42d9a28a256b42299dcbbb166e01c268.png
[b6f10c2a55e54f358afd8854160109bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/8b57fba78913449292b9249e6f2239a6.png
[214f715e08844345b2747ea11f84cd88.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c0bd8be36d2d4f4c8f6b2744998422b5.png
[c40988dbe6524cc1b738ccb8cc9ded79.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/171fce59a793412f8ee9d865fa7cdea7.png
[90aecb3b609747f0be61eb2b0b414c44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/cf2dd90cafad4b7fadada36dc9afb24f.png
[92c469d0c64842c7af62c2231f1cbd91.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e0e5bb139a9848039e047f48bde124b7.png