实时计算引擎Spark笔试题:一些常见的比较总结

男娘i 2022-12-28 14:09 291阅读 0赞

## **1** **Spark** **repartition和coalesce的区别** ##

1.1. repartition只是coalesce接口中shuffle为true的实现  
1.2. 不经过 shuffle，也就是coaleasce shuffle为false，是无法增加RDD的分区数的，比如你源RDD 100个分区，想要变成200个分区，只能使用repartition，也就是coaleasce shuffle为true。  
1.3. 如果上游为Partition个数为N，下游想要变成M个Partition

N > M , 比如N=100 M=60, 可以使用coaleasce shuffle为false。但是如果N远大于M，比如N=100, 
    M=1, 分区有一个激烈的变化时，此时如果用coalesce就只有一个task处理数据，资源利用不够， 
    Executor空跑，这时repartition是一个比较好的选择，虽然有shuffle但是和只有1个Task处理任务
    比起来效率还是较高。
    N < M , coaleasce shuffle为false 不能增加分区，只能用repartition

##    **2** **groupByKey** **和** **reduceBykey** **区别** ##

reduceByKey 可以接收一个 func 函数作为参数，这个函数会作用到每个分区的数据上，即分区内部的数据先进行一轮计算，然后才进行 shuffle 将数据写入下游分区，再将这个函数作用到下游的分区上，这样做的目的是减少 shuffle 的数据量，减轻负担。

![32db4193e9935bfabe8bbcb97fdb2fa1.png][]

groupByKey 不接收函数，Shuffle 过程所有的数据都会参加，从上游拉去全量数据根据 Key 进行分组写入下游分区，这样会消耗比较多的资源，数据传输会导致任务处理的延迟。

![0c91a25001be3866ad4d4acbde5e1883.png][]

如果我们想要进行分组后进行聚合操作，使用 reduceByKey 会更高效， 因为reduceByKey 会在map阶段
    合并分区内相同的key，而gourpByKey 则不会合并。

##    **3 Cache，Presist，CheckPoint的区别** ##

Persist 的 MEMORY\_ONLY 级别的存储等于 Cache，Persist 其他的配置只是存储的方式不同，作用和原理是和 Cache 类似的，他们二者的区别如下：

*Cache、Persist 是转化类算子，和其他算子一样，触发的时机是在对应分区的上游算子计算完成之后。
    *Cache、Persist 会把 RDD 缓存到指定位置，这个操作不会改变 Lineage 血缘的依赖关系，且 Job 执行
    完成之后，缓存的数据会被清除。
    *Cache、Persist 一般应用于需要访问重复数据的应用（如迭代型算法和交互式应用）缓存可以运行得更快。
    *CheckPoint 执行完毕后，会产生 CheckPointRDD，此时 lineage 血缘关系已经改变了，容错会从
    CheckPointRDD 开始。
    *CheckPoint 将 RDD 持久化到 HDFS ，会被永久保存，可以给其他的 Driver 使用
    *虽然Presist 也可以持久化数据到磁盘，但是它有BlockManager管理，一旦Driver结束，BlockManager
     也会 stop，被 cache 到磁盘上的 RDD 也会被清空,而 checkpoint 将 RDD 持久化到HDFS或本地文件，
    如果不被手动 remove 掉，是一直存在的

[32db4193e9935bfabe8bbcb97fdb2fa1.png]: /images/20221120/e44404187d3249c08fc4c9c2e935a2f2.png
[0c91a25001be3866ad4d4acbde5e1883.png]: /images/20221120/5acddb8a831549bba4cab974dfce215b.png