2.2.1 hadoop体系之离线计算-mapreduce分布式计算-mapreduce架构概念

灰太狼 2022-12-10 10:05 159阅读 0赞

**目录**

1.写在前面

2.为什么需要MapReduce？

3.MapReduce具体细节

3.1 Hadoop MapReduce构思：

4.block，split，map，reduce关系

5.Shuffler<洗牌>

6.MapReduce框架结构

7.理解map和reduce

8.MapReduce作业运行流程

9.引出YARN资源管理器

10.MapReduce 编程规范

--------------------

# 1.写在前面 #

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在[分布式系统][Link 1]上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。(百度百科)。

还有一个比较形象的语言解释MapReduce: 我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多， 数书就更快。 现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

**MapReduce运行在yarn集群： 1. ResourceManager 2. NodeManager**

# 2.为什么需要MapReduce？ #

我们假设有一个需求是统计日志中某个字符串出现的次数，这个日志非常大，一般情况下我们使用HDFS进行分布式存储。文件一旦被分布到HDFS上面，文件就会被切割成多个部分，分到多台及其上，假设我们有100个机器的集群，被分布到了30台node上面。考虑到速度问题，我们需要把计算程序分布到每一台节点之上，分别计算。但是计算变成分布式之后，也会有各种问题：

（1）代码怎么分发到机器？分发到哪几台机器（里面有没有数据）？怎么配置启动环境？

（2）假设有一台机器宕机，那台机器统计的部分结果怎么办？怎么保证最终结果的正确性？

（3）汇总结果的时候，是不是需要发到同一台机器上进行汇总？负载会不会很高？

我们发现，即使是一个很简单的问题，如果变成分布式也会面临很多问题，MapReduce就是我们的福音，可以把我们刚才提到的问题解决，并且封装起来，让我们关注计算逻辑，而非实现方式。

# 3.MapReduce具体细节 #

MapReduce这个名称就是这个框架的基本特征，包括map阶段和reduce阶段。map做映射可以是并行化的，reduce是汇聚结果的，也可以是并行的（分别统计不同类型）。整个运行分为两个阶段：MapTask和ReduceTask，二者线性依赖。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

总结：

1.  mapTask输出是reduceTask输入，必须前面统计结束，后面才可以进行，线性依赖
2.  map有三个节点，reduce有两个，map有越多节点，并行度越高，速度越快
3.  hdfs可以作为map输入，map输出是reduce的输入，reduce的输出重新写到hdfs中
4.  每个map前面有切片，一个切片对应一个map程序。切片：文件在hdfs会有切块处理，block，有偏移量和位置信息，在框架默认情况下，其实一个块对应一个map程序。但是有时候一个块可以对应多个map，是因为一个块分成了多个切片（甚至一条记录对应一个map程序）。物理上是hdfs做了切块处理，逻辑上我们可以进行切片处理（一个map程序处理量的大小，也可以一个map对应多个块）。
5.  map的数量由切片数量决定，默认切片数量等于块数量
6.  redece数量由场景决定，一类数据可以一个，两类数据可以两个，也可以一个，人会参考最后结果组的数量
7.  map会映射为key-value键值对，以记录为单位，输出key-value。输出：男 1，男1，女1.....（多条数据）
8.  把男的数据都发给一个reduce，女的数据都发给另一个reduce，reduce分别汇总
9.  记录默认一行为一个记录，也可以是多行是一个记录，以一个记录为单位调用map方法
10. 在经过map之后，一般会有个排序操作
11. **相同的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算汇总，加入我们只有一个reduce，我们计算男女数量，操作流程是先计算一个类别的数量，调用reduce方法，执行结束后再计算另一个类别数量（一个分区partition可以包含多个组）**
12. 一个reduceTask，我们称为分区partition
13. map输出要是没有排序sort，可能输出是一条男生，一条女生，一条男...，比较混乱，浪费时间

## 3.1 Hadoop MapReduce构思： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

# 4.block，split，map，reduce关系 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

# 5.Shuffler<洗牌> #

map的输出对应着key-value，每次生成一个key-value都会经过一个算法变成 k-v-p，有三个维度，p代表归属是哪个分区。map生成数据会在本机文件系统生成一个文件，不会写回hdfs，如果map每次生成一个key-value，直接写入磁盘，IO次数过多，会浪费时间。我们可以加一个buffer在内存中，通过buffer统一写入磁盘，buffer默认100M，多条记录调用一次IO操作，基于这些记录在划到某个分区之后做了一个排序，对这100M也做了一个小的排序操作。这些小文件，内部有序，外部无序，可以继续进行归并排序成一个大文件。这个大文件也就是map过程最后的输出。

各自reduce，在每个map输出中拉回来属于自己的小文件，这些小文件内部有序，但是外部无序，我们需要再次做一个归并操作，最终归并为一个全排序的文件。

其实上面reduce也没有必要合并成一个全排序的文件，可以合并成多个，比如我们分成两个大文件（内部有序），一样可以在后面执行归并排序操作，直接输入到reduce之中。

现在分区默认的是hash算法，来做key分区。3个分区，hash会得到0,1,2。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4][]

# 6.MapReduce框架结构 #

一个完整的mapreduce程序在分布式运行时有三类实例进程：

*  MRAppMaster 负责整个程序的过程调度及状态协调
 *  MapTask 负责map阶段的整个数据处理流程
 *  ReduceTask 负责reduce阶段的整个数据处理流程

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5][]

1.  客户端向yarn主节点ResourceManager，提出需求
2.  ResourceManager接受任务，启动一个Application Manager进程来管理任务
3.  Application Manager就会在某一个主机上面（主机上有nodeManager从节点），启动MR app mstr管理这个任务，主要是向ResourceManager申请资源，申请内存，cpu等资源
4.  ResourceManager中还有个ResourceScheduler，会把资源下发给MR app mstr
5.  MR app mstr拿到资源之后分派给各个nodeManager，具体分配资源
6.  分配资源之后，在每一个nodeManager启动Map Task任务或者Reduce Task任务
7.  Map Task任务或者Reduce Task任务会产生一些结果，这些结果最终汇总给MR app mstr，MR app mstr会把这个结果继续上报给Application Manager

# 7.理解map和reduce #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7][]

# 8.MapReduce作业运行流程 #

![89b967ee39283e2278e8e52a4e8e65a3.png][]

*  （1）在客户端启动一个作业
 *  （2）向JobTracker请求一个Job ID
 *  （3）将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件夹名为该作业的Job ID。JAR文件默认会有10个副本（mapred.submit.replication属性控制）；输入划分信息告诉了JobTracker应该为这个作业启动多少个map任务等信息。
 *  （4）JobTracker接收到作业后，将其放在一个作业队列里，等待作业调度器对其进行调度（很像微机中的进程调度），当作业调度器根据自己的调度算法调度到该作业时，会根据输入划分信息为每个划分创建一个map任务，并将map任务分配给TaskTracker执行。对于map和reduce任务，TaskTracker根据主机核的数量和内存的大小有固定数量的map槽和reduce槽。这里需要强调的是：map任务不是随随便便地分配给某个TaskTracker的，这里有个概念叫：数据本地化（Data-Local）。意思是：将map任务分配给含有该map处理的数据块的TaskTracker上，同时将程序JAR包复制到该TaskTracker上来运行，这叫“**运算移动，数据不移动**”。而分配reduce任务时并不考虑数据本地化。
 *  （5）TaskTracker每隔一段时间会给JobTracker发送一个心跳，告诉JobTracker它依然在运行，同时心跳中还携带着很多的信息，比如当前map任务完成的进度等信息。当JobTracker收到作业的最后一个任务完成信息时，便把该作业设置成“成功”。当JobClient查询状态时，它将得知任务已完成，便显示一条消息给用户。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 9][]

# 9.引出YARN资源管理器 #

为了避免重复资源管理，催生了例外一个框架 YARN ，是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

任何框架想要申请计算机资源的时候，都要通过YARN进行申请，YARN给它哪一个节点，它就在哪一个节点进行计算，这样就可以规避两个人争抢的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 10][]

# 10.MapReduce 编程规范 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 11][]

[Link 1]: https://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E7%B3%BB%E7%BB%9F/4905336
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221123/8004d8dccd6149adbe9877e0e5c55bb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221123/bbc628bbc749470f9a7af048ed508bc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: /images/20221123/e215db50281c46c492b155e41756b10d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: /images/20221123/fed29f6c8d9e40558b9c3358c6b7ff89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 4]: /images/20221123/370d326ed6274b75856ce76dceafbae9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 5]: /images/20221123/2507e8a8bf184dd88104b7bb1f6ee575.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 6]: /images/20221123/98b8375f21e64ad3b833901ceb9cdaf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 7]: /images/20221123/28ab4faceebc479e9b6547eded84bb90.png
[89b967ee39283e2278e8e52a4e8e65a3.png]: /images/20221123/561ed605c058434ca590e01187477ee7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 8]: /images/20221123/8d0d779f5bdd4211b7012c436f1113bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 9]: /images/20221123/83575bfdaad448799825dc1524b87023.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 10]: /images/20221123/9d52d67c99274cbaa0e5fd50880f9398.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 11]: /images/20221123/8c0c0c95c8d54d76b21773d17ad08177.png