hadoop mapreduce详细过程分析

一时失言乱红尘 2022-06-16 01:11 218阅读 0赞

# hadoop  mapreduce详细过程分析 #

hadoop在工业界目前已经是公认的大数据通用存储和分析平台。hadoop提供了一个可靠的共享存储和分析系统。hadoop最核心的两大部分hdfs和mapreduce。hdfs实现数据的存储，mapreduce实现数据的分析和处理。

现在我来聊一聊mapreduce的基本过程。面对大量的数据，mapreduce采用如下的步骤来对数据进行分析和处理。

1、map

2、combiner

3、shuffle

4、reduce

下面来一次说明整个mapreduce的过程。

1、map。map的主要作用是把待处理的数据整理成（key,value)的形式。

2、combiner。conbiner过程是可选的，数据优化mapreduce的一个步骤。它的主要功能是在shuffle前先对map产生的数据进行处理，为后面的shuffle过程节省时间。

3、shuffle。shuffle过程又称为“洗牌”，意思是根据分析逻辑对（key,value)进行处理。得到(key,\[value1,value2...\])这样的数据结构，作为输入，传递给reduce。

4、reduce。reduce的主要作用是把shuffle过程输出的数据做最后的处理，然后输出结果。

下面用一个经典的例子说明一下上述过程：

wordcount程序，计算单词的总数。

输入：aa,bb,cc,dd,aa,bb,aa,dd,aa,dd

输出：（aa,4,) (bb,2) (cc,1) (dd,3)

1、map

（aa,1) (bb,1) (cc,1)(dd,1) (aa,1) (bb,1) (aa,1) (dd,1) (aa,1) (dd,1)

2、combiner（假设，前四个在同一台节点上，中间的三个在一台节点上，最后的三个在一台节点上）

节点1：(aa,1) (bb,1) (cc,1) (dd,1)

节点2：(aa,2) (bb,1)

节点3：(dd,2) (aa,1)

3、shuffle

(aa,\[1,2,1\]) (bb,\[1,1\]) (cc,\[1\]) (dd,\[1,1,2\])

4、reduce求出每个word的总数

（aa,4,) (bb,2) (cc,1) (dd,3)

发表评论取消回复

表情：

评论列表（有 0 条评论，218人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-MapReduce-详细分析MapReduce工作流程，源码解析-连载中

文章目录 1 MapReduce工作流程 2 MapReduce源码解析 3 MapReduce开发总结 1 MapReduc

系统管理员/ 2023年03月01日 11:51/ 0 赞/ 24 阅读

相关 hadoop:MapReduce之 shuffle过程详解

文章目录 shuffle概念为什么要在map reduce 之间加shuffle? ｃombiner（合并） so

蔚落/ 2022年11月21日 15:09/ 0 赞/ 203 阅读

相关 hadoop源码分析（MapReduce）

原文地址：http://wwangcg.iteye.com/category/171858【good 也有其他方面的内容】 [hadoop 源码分析(一) jobCli

古城微笑少年丶/ 2022年09月17日 13:15/ 0 赞/ 223 阅读

相关 Hadoop之MapReduce程序分析

![Center][] 摘要：Hadoop之MapReduce程序包括三个部分：Mapper，Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。关

我不是女神ヾ/ 2022年08月27日 12:42/ 0 赞/ 247 阅读

相关 Hadoop MapReduce 程序执行过程

1、下图展示了Hadoop MapReduce 并行计算框架上执行一个用户提交的MapReduce程序的过程。 ![20160523162159428][] ①首先，程序客

超、凢脫俗/ 2022年07月24日 12:17/ 0 赞/ 338 阅读

相关 Hadoop的MapReduce执行过程

执行MapReduce的命令 hadoop jar <jar在linux的路径> <main方法所在的类的全类名> <参数> 例子： hadoo

冷不防/ 2022年07月13日 07:24/ 0 赞/ 206 阅读

相关 hadoop mapreduce详细过程分析

hadoop mapreduce详细过程分析 hadoop在工业界目前已经是公认的大数据通用存储和分析平台。hadoop提供了一个可靠的共享存储和分析系统。hadoop

一时失言乱红尘/ 2022年06月16日 01:11/ 0 赞/ 219 阅读

相关 Hadoop MapReduce执行过程详解（带hadoop例子）

分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Red

「爱情、让人受尽委屈。」/ 2022年06月07日 10:10/ 0 赞/ 305 阅读

相关 [Hadoop]MapReducer工作过程

1. 从输入到输出一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输

小灰灰/ 2022年05月26日 08:49/ 0 赞/ 247 阅读

相关 Hadoop系列 mapreduce 原理分析

以wordcount 为例 [https://blog.csdn.net/weixin\_43291055/article/details/106488839][https_

川长思鸟来/ 2021年09月21日 08:10/ 0 赞/ 376 阅读