实时计算引擎Spark笔试题:一些常见的比较总结

桃扇骨 2023-10-06 15:44 43阅读 0赞

### **1** **Spark** **repartition和coalesce的区别** ###

1.1. repartition只是coalesce接口中shuffle为true的实现  
1.2. 不经过 shuffle，也就是coaleasce shuffle为false，是无法增加RDD的分区数的，比如你源RDD 100个分区，想要变成200个分区，只能使用repartition，也就是coaleasce shuffle为true。  
1.3. 如果上游为Partition个数为N，下游想要变成M个Partition

N > M , 比如N=100 M=60, 可以使用coaleasce shuffle为false。但是如果N远大于M，比如N=100, 
    M=1, 分区有一个激烈的变化时，此时如果用coalesce就只有一个task处理数据，资源利用不够， 
    Executor空跑，这时repartition是一个比较好的选择，虽然有shuffle但是和只有1个Task处理任务
    比起来效率还是较高。
    N < M , coaleasce shuffle为false 不能增加分区，只能用repartition

###    **2** **groupByKey** **和** **reduceBykey** **区别** ###

reduceByKey 可以接收一个 func 函数作为参数，这个函数会作用到每个分区的数据上，即分区内部的数据先进行一轮计算，然后才进行 shuffle 将数据写入下游分区，再将这个函数作用到下游的分区上，这样做的目的是减少 shuffle 的数据量，减轻负担。

![0067e675e46346e0ab8f2dc6add860a2.png][]

groupByKey 不接收函数，Shuffle 过程所有的数据都会参加，从上游拉去全量数据根据 Key 进行分组写入下游分区，这样会消耗比较多的资源，数据传输会导致任务处理的延迟。

![40f32583837b4ee095cf20597c623428.png][]

如果我们想要进行分组后进行聚合操作，使用 reduceByKey 会更高效， 因为reduceByKey 会在map阶段
    合并分区内相同的key，而gourpByKey 则不会合并。

###    **3 Cache，Presist，CheckPoint的区别** ###

Persist 的 MEMORY\_ONLY 级别的存储等于 Cache，Persist 其他的配置只是存储的方式不同，作用和原理是和 Cache 类似的，他们二者的区别如下：

*Cache、Persist 是转化类算子，和其他算子一样，触发的时机是在对应分区的上游算子计算完成之后。
    *Cache、Persist 会把 RDD 缓存到指定位置，这个操作不会改变 Lineage 血缘的依赖关系，且 Job 执行
    完成之后，缓存的数据会被清除。
    *Cache、Persist 一般应用于需要访问重复数据的应用（如迭代型算法和交互式应用）缓存可以运行得更快。
    *CheckPoint 执行完毕后，会产生 CheckPointRDD，此时 lineage 血缘关系已经改变了，容错会从
    CheckPointRDD 开始。
    *CheckPoint 将 RDD 持久化到 HDFS ，会被永久保存，可以给其他的 Driver 使用
    *虽然Presist 也可以持久化数据到磁盘，但是它有BlockManager管理，一旦Driver结束，BlockManager
     也会 stop，被 cache 到磁盘上的 RDD 也会被清空,而 checkpoint 将 RDD 持久化到HDFS或本地文件，
    如果不被手动 remove 掉，是一直存在的

[0067e675e46346e0ab8f2dc6add860a2.png]: https://img-blog.csdnimg.cn/0067e675e46346e0ab8f2dc6add860a2.png
[40f32583837b4ee095cf20597c623428.png]: https://img-blog.csdnimg.cn/40f32583837b4ee095cf20597c623428.png