Spark的RDD转换算子-key-value型-partitionBy、reduceByKey、groupByKey

﹏ヽ暗。殇╰゛Y 2023-10-04 16:56 50阅读 0赞

## Spark的RDD转换算子-key-value型-partitionBy、reduceByKey、groupByKey ##

### 一、partitionBy ###

#### 函数签名 ####

def partitionBy(partitioner: Partitioner): RDD[(K, V)]

将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是 HashPartitioner

val rdd: RDD[(Int, String)] = sc.makeRDD(Array((1,"aaa"),(2,"bbb"),(3,"ccc")),3) 
    val rdd2: RDD[(Int, String)] = rdd.partitionBy(new HashPartitioner(2))

partitionBy方法是属于PairRDDFunction的，而rdd则是属于RDD的，那么他们是怎么转换的呢？其实是源码使用的**隐式转换**，进行了二次编译

### 二、reduceByKey ###

#### 函数签名 ####

def reduceByKey(func: (V, V) => V): RDD[(K, V)] 
    def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]

可以将数据按照相同的 Key 对 Value 进行聚合

val dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3))) 
    val dataRDD2 = dataRDD1.reduceByKey(_+_) 
    val dataRDD3 = dataRDD1.reduceByKey(_+_, 2)

scala的聚合操作采用的是两两聚合的方法，而spark是基于scala开发的，所以聚合操作也是两两聚合

val reduceRDD: RDD[(String, Int)] = rdd.reduceByKey(
    	//这里的x和y，是前后的两个数值
    	(x: Int, y: Int) => {
        x + y}
    )

### 三、groupByKey ###

#### 函数签名 ####

def groupByKey(): RDD[(K, Iterable[V])] 
    def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] 
    def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])]

将数据源的数据根据 key 对 value 进行分组

val dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3))) 
    val dataRDD2 = dataRDD1.groupByKey() 
    val dataRDD3 = dataRDD1.groupByKey(2) 
    val dataRDD4 = dataRDD1.groupByKey(new HashPartitioner(2))

**groupByKey：**

将分区的数据直接转换为相同类型的内存数组进行后续处理，将相同key的数据分为一个组中，行成一个对偶元组，元组中的第一个元素是key，第二个元素就是对应的value集合

### 四、groupByKey和reduceByKey的区别？ ###

**从 shuffle 的角度：**

reduceByKey 和 groupByKey 都存在 shuffle 的操作，但是 reduceByKey可以在 shuffle 前对分区内相同 key 的数据进行预聚合（combine）功能，这样会减少落盘的数据量，而 groupByKey 只是进行分组，不存在数据量减少的问题，reduceByKey 性能比较高。

**从功能的角度：**

reduceByKey 其实包含分组和聚合的功能。GroupByKey 只能分组，不能聚合，所以在分组聚合的场合下，推荐使用 reduceByKey，如果仅仅是分组而不需要聚合。那么还是只能使用 groupByKey 。reduceByKey的分区内和分区间的计算规则是一样的

**考虑：**

如果分区内和分区间要求不一样的计算规则，那该怎么实现？