详解： Spark 相对于MapReduce的优势(为什么MapReduce性能不理想）

今天药忘吃喽~ 2024-02-19 20:02 90阅读 0赞

## Spark相对于MapReduce的优势 ##

### 一：MapReduce存在的问题 ###

1\*\*. MapReduce框架局限性\*\*  
　　1）仅支持Map和Reduce两种操作

2）处理效率低效。

a）Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据; 任务调度和启动开销大;  
　　　　b）无法充分利用内存  
　　　　c）Map端和Reduce端均需要排序

3）不适合迭代计算(如机器学习、图计算等)，交互式处理(数据挖掘) 和流式处理(点击日志分析)  
　　  
**2. MapReduce编程不够灵活**

\-　　1）java操作繁琐，维护麻烦，效率低  
**3. IO 开销**  
MapReduce每次shuffle都必须写到磁盘中，而Spark的shuffle不一定写到磁盘中，而是可以缓存到内存中，  
以便后续的其他迭代操作时直接使用。这样一来，如果任务复杂，需要很多次的shuffle才能完成，  
那么Hadoop读写磁盘文件时花费在IO上的时间就会大大增加。

### 二：Spark ###

**高效(比MapReduce快10~100倍)**

1）内存计算引擎，提供Cache机制来支持需要反复迭代计算或者多次数据共享，减少数据读取的IO开销  
　　2）DAG引擎，减少多次计算之间中间结果写到HDFS的开销  
　　3）使用多线程池模型来减少task启动开稍，shuffle过程中避免 不必要的sort操作以及减少磁盘IO操作

**易用**  
　　1）提供了丰富的API，支持Java，Scala，Python和R四种语言  
　　2）代码量比MapReduce少2~5倍  
　　  
与Hadoop集成 读写HDFS/Hbase 与YARN集成  
丰富的API（Java、Scala、Python、R四种语言，sort、join等高效算子）  
DAG执行引擎，中间结果不落盘  
线程池模型减少task启动开销  
充分利用内存，减少磁盘IO  
避免不必要的排序操作  
适合迭代计算，比如机器学习算法  
\*\*

### 三： 容错： ###

1.当执行中途失败时，MapReduce会从失败处继续执行，因为它是依赖于硬盘驱动器的。

但是Spark就必须从头开始执行，这样MapReduce相对节省了时间。

发表评论取消回复

表情：

评论列表（有 0 条评论，90人围观）

还没有评论，来说两句吧...

相关阅读

相关为什么spark比mapreduce处理数据快

地方式不同 mapreduce任务每一次处理完成之后所产生的结果数据只能够保存在磁盘，后续有其他的job需要依赖于前面job的输出结果，这里就只能够进行大量的io操作获...

落日映苍穹つ/ 2024年04月17日 17:30/ 0 赞/ 98 阅读

相关 webpack相对于Rollup的优势在哪？

生态系统和社区支持： Webpack 是一个非常流行的打包工具，拥有广泛的社区支持和丰富的生态系统。这意味着你能够找到大量的插件、loader 和解决方案，以满足不同的项目需求

痛定思痛。/ 2024年03月23日 22:07/ 0 赞/ 64 阅读

相关详解： Spark 相对于MapReduce的优势(为什么MapReduce性能不理想）

Spark相对于MapReduce的优势一：MapReduce存在的问题 1\\. MapReduce框架局限性\\ 　　1）仅支持Map和Reduce两种操

今天药忘吃喽~/ 2024年02月19日 20:02/ 0 赞/ 91 阅读

相关 MapReduce: 提高MapReduce性能的七点建议[译]

Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代

曾经终败给现在/ 2022年08月14日 01:50/ 0 赞/ 238 阅读

相关 MapReduce详解

Hadoop -- MapReduce过程昨天我们对MapReduce作了大概了解，知道它如何进行数据处理。今天我们走进MapReduce，分析MapRe

缺乏、安全感/ 2022年08月14日 01:42/ 0 赞/ 173 阅读

相关 MapReduce过程详解及其性能优化

废话不说直接来一张图如下： ![Center][] 从JVM的角度看Map和Reduce Map阶段包括：第一读数据：从HDFS读取数据 1、问题:

た入场券/ 2022年05月25日 06:49/ 0 赞/ 201 阅读

相关 MapReduce详解

MapReduce模型简介： •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce •编程容易，不需要掌握分布式并行

Love The Way You Lie/ 2022年05月17日 07:06/ 0 赞/ 212 阅读

相关 Spark相对于MapReduce的优势对比

Spark相对于MapReduce的优势 MapReduce存在的问题 1. MapReduce框架局限性　　1）仅支持Map和Reduce两种操作

小咪咪/ 2022年05月16日 05:19/ 0 赞/ 291 阅读

相关 hadoop的mapreduce详解

链接：[https://www.cnblogs.com/zhuxiaojie/p/7224772.html\autoid-2-0-0][https_www.cnblogs.co

￡神魔★判官ぃ/ 2022年02月02日 00:25/ 0 赞/ 273 阅读

相关 Spark和MapReduce的区别

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 首先大数据涉及两个方面：分布式存储系统（GFS）和分布式

╰+哭是因爲堅強的太久メ/ 2022年01月13日 12:15/ 0 赞/ 315 阅读