轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.47 MapReduce全流程之调优

叁歲伎倆 2024-03-17 09:14 31阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.47 MapReduce全流程之调优

![在这里插入图片描述][70529f159d75405db0d9e0371708cd2d.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.47 MapReduce全流程之调优 ######

之前我们已经把整个MR 的执行流程大致说完了

![在这里插入图片描述][a094e27061c64294bbd9ab6d70dafd57.png_pic_center]

> 五颗星

在这整个过程中，有哪些地方可以进行优化？

【1】作业跑得慢

*  调整块的个数，提高并行数，【当然map 的数量一般是不会动的，128M 已经是一个非常好的经验值了】
 *  环形缓冲区【这里是个可以优化的点】
    
    ![在这里插入图片描述][d5bcbedf781c416fb3a988e7115ae66a.png_pic_center]
    
    默认大小：
    
    官网文档：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_mapred-default.xml]
    
    ![在这里插入图片描述][ac8d71aa184f4e3dbd0a1147c59228d6.png_pic_center]
    
    看这个配置文件
    
    ![在这里插入图片描述][a38cd91c07d94b92bee34f8282a9a31f.png_pic_center]
    
    ![在这里插入图片描述][9ef197f2be134f8cb4a050c4419584f9.png_pic_center]
    
    环形缓冲区大小默认100M，
    
    ![在这里插入图片描述][0ca50e2f52984a37ae2807c5af18f286.png_pic_center]
    
    这个百分比表示，环形缓冲区达到80% 就开始溢写(开了一个线程后台进行)
 *  溢写出的文件的归并操作
    
    ![在这里插入图片描述][537b9adcd49d4dca9dbc9454b856e473.png_pic_center]
    
    ![在这里插入图片描述][b19d5952cefc4450a9d8faa69c2ee4a4.png_pic_center]
    
    一次合并10个流的数量【如果输出的文件个数很多，那么就可以调大这个值】
    
    ![在这里插入图片描述][c1e728ac7c6641ce83faaf8af891cebc.png_pic_center]
 *  之前我们说过，不影响业务逻辑的前提下，我们可以开启预计算Combiner，这也是一种优化
 *  MT 的内存大小
    
    ![在这里插入图片描述][4f26c26969054d4e90c38a62c9fa5873.png_pic_center]
    
    默认1024M，这个也是可以改的
 *  MT 核心数【CPU】
    
    ![在这里插入图片描述][5f62bd0a2aa549c29dfeebf380a561f3.png_pic_center]
    
    一般一个实的核心可以虚拟出1-2 个虚core
 *  MT 如果挂掉了，重试的机制
    
    ![在这里插入图片描述][71c8c38ae34d4880ad75276255450425.png_pic_center]
    
    最大的重试次数对于每一个MT【这个参数一般我们都往小了调】，都重试4次了，大概率已经是业务逻辑有问题了，一般2-3 次
 *  Reduce 拉数据
    
    ![在这里插入图片描述][f635304279a74fb0a39fc67c023e5d63.png_pic_center]
    
    reduce 端默认拷贝数据的数量为5 【map 端操作结束，Shuffle 就开始 了，这个值可以往大了调整】
 *  reduce 对拉过来的文件进行处理的内存大小
    
    ![在这里插入图片描述][bd79c4fe45b549b3b084ac49d5001bec.png_pic_center]
    
    ![在这里插入图片描述][6dfab19dfe7a4c6f8cfcb99d51e0cb7d.png_pic_center]
    
    RT的最大内存占比，去存储map 端的输出
 *  和环形缓冲区一样，上面那个存的数据达到多少开始合并
    
    ![在这里插入图片描述][79e5b735898b4412b3b73a35327a0a88.png_pic_center]
    
    使用这个阈值控制内存中文件中的合并，写入磁盘【这个值可以往大了调整】
 *  RT的内存
    
    ![在这里插入图片描述][61617359a77141cc9810a947e4a075ec.png_pic_center]
    
    没设置默认1024
    
    当然和MT 一样，它也有个CPU 核心数，就在下面
 *  RT 的重试
    
    ![在这里插入图片描述][831eabec563443e698130a00dabc143d.png_pic_center]
    
    4次重试次数
 *  我们不会等到MT 全部处理完成，reduce 才去拷贝数据，所以涉及到一个比值
    
    ![在这里插入图片描述][2fb55405b0a74e34820d96a2f8268194.png_pic_center]
    
    map 完成5% ，reduce 就开始工作拷贝了
 *  应用程序最大重试次数
    
    ![在这里插入图片描述][03f1994bbb8448d39188e154c4d60d9c.png_pic_center]
    
    跑的时候，在YARN上面，作业挂掉了，AM 可以重试2 次，当然这个我们后面还会讲

![在这里插入图片描述][26844438c39c447c9a83b2acc70e239b.png_pic_center]

[70529f159d75405db0d9e0371708cd2d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/dad3678815b247579658179b2936f55c.png
[a094e27061c64294bbd9ab6d70dafd57.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/268d8b1fc6074c5387ca65f07f686122.png
[d5bcbedf781c416fb3a988e7115ae66a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/fde760ea70714169bc0acde990a4829c.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_mapred-default.xml]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
[ac8d71aa184f4e3dbd0a1147c59228d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cb01a725ab834656ac3056829ba69086.png
[a38cd91c07d94b92bee34f8282a9a31f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2030191548d6421087061f919344cad2.png
[9ef197f2be134f8cb4a050c4419584f9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c05ef2fc0fd2482cba1fa392ef05a2c2.png
[0ca50e2f52984a37ae2807c5af18f286.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6c301c88aa444ea49f92d0c55a5d1e9b.png
[537b9adcd49d4dca9dbc9454b856e473.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/1c127b2fce6d400b894802249017bf5e.png
[b19d5952cefc4450a9d8faa69c2ee4a4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f5914b3ab05c4becb3f4769dd6c3effd.png
[c1e728ac7c6641ce83faaf8af891cebc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a8a64481b98e44e780d617e06ded9e92.png
[4f26c26969054d4e90c38a62c9fa5873.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d4708478e7fc4a07abadf520d4427972.png
[5f62bd0a2aa549c29dfeebf380a561f3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9857773146b84e90b057cc7481391a96.png
[71c8c38ae34d4880ad75276255450425.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/65e0d77cdd574e4f841e9ca002d41bf6.png
[f635304279a74fb0a39fc67c023e5d63.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/db10148f489040acb67dc9c8214dd189.png
[bd79c4fe45b549b3b084ac49d5001bec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b4217f349d1445e1a287661b1cd9e257.png
[6dfab19dfe7a4c6f8cfcb99d51e0cb7d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b83d9ab7d1ce48a6aaae46768c72d65a.png
[79e5b735898b4412b3b73a35327a0a88.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7e3efdf212cc4c31a1ed2a602d96e90d.png
[61617359a77141cc9810a947e4a075ec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/add7d3bb32394111aee4d136a4610f0b.png
[831eabec563443e698130a00dabc143d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e9a1e344a05d48bd8fd59b1f90408aca.png
[2fb55405b0a74e34820d96a2f8268194.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a79c7dc8f57344e98b5cd5e05b9c3216.png
[03f1994bbb8448d39188e154c4d60d9c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/7245da4136ca4236976cf9c32d471ee6.png
[26844438c39c447c9a83b2acc70e239b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cdc8e47e4fb9481db9c905165f2c7f81.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.47 MapReduce全流程之调优

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.30 认识FileInputFormat

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.3 【重要必掌握】MapReduce思想

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.48 MapReduce全流程之加强

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.47 MapReduce全流程之调优

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.46 MapReduce全流程之Shuffle工作原理

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.44 MapReduce全流程之MapTask工作原理

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.34 DBInputFormat编程