Spark32种常用的算子（第三天练习）

痛定思痛。 2023-05-29 05:09 13阅读 0赞

### 笔记： ###

**shuffle类算子:**  
byKey类算子  
join类算子  
sort类算子  
distinct  
**聚合类的算子:**  
reduceByKey  
aggregateByKey  
combineByKey  
foldByKey  
reduce  
aggregate  
fold  
countByKey  
countByValue

官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。

（注：以下截图为windows下运行结果）

Transformation：

**1.map**

map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而mapPartitions函数执行3次。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]  
**2.filter（function）**

过滤操作，满足filter内function函数为true的RDD内所有元素组成一个新的数据集。如：filter（a == 1）。  
![在这里插入图片描述][20191104142435568.png]

**3.flatMap（function）**

map是对RDD中元素逐一进行函数操作映射为另外一个RDD，而flatMap操作是将函数应用于RDD之中的每一个元素，将返回的迭代器的所有内容构成新的RDD。而flatMap操作是将函数应用于RDD中每一个元素，将返回的迭代器的所有内容构成RDD。

flatMap与map区别在于map为“映射”，而flatMap“先映射，后扁平化”，map对每一次（func）都产生一个元素，返回一个对象，而flatMap多一步就是将所有对象合并为一个对象。

![在这里插入图片描述][20191104142457951.png]

**4.mapPartitions（function）**

区于foreachPartition（属于Action，且无返回值），而mapPartitions可获取返回值。与map的区别前面已经提到过了，但由于单独运行于RDD的每个分区上（block），所以在一个类型为T的RDD上运行时，（function）必须是Iterator => Iterator类型的方法（入参）。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 1]

**5.mapPartitionsWithIndex（function）**

与mapPartitions类似，但需要提供一个表示分区索引值的整型值作为参数，因此function必须是（int， Iterator）=>Iterator类型的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 2]

**6.sample（withReplacement， fraction， seed）**

采样操作，用于从样本中取出部分数据。withReplacement是否放回，fraction采样比例，seed用于指定的随机数生成器的种子。（是否放回抽样分true和false，fraction取样比例为(0, 1\]。seed种子为整型实数。）  
![在这里插入图片描述][20191104142541154.png]

**7.union（otherDataSet）**

对于源数据集和其他数据集求并集，不去重。

![在这里插入图片描述][2019110414254736.png]

**8.intersection（otherDataSet）**

对于源数据集和其他数据集求交集，并去重，且无序返回。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 3]

**9.distinct（\[numTasks\]）**

返回一个在源数据集去重之后的新数据集，即去重，并局部无序而整体有序返回。（详细介绍见https://blog.csdn.net/Fortuna\_i/article/details/81506936）

注：之后groupByKey、reduceByKey、aggregateByKey、sortByKey、join、cogroup等Transformation操作均包含\[numTasks\]任务数这个参数，参考上一行链接理解。

![在这里插入图片描述][20191104142601393.png]

注：之后要用到很多对pairRDD进行的操作，在此添加pairRDD简易创建过程。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 4]

**10.groupByKey(\[numTasks\])**

在一个PairRDD或（k,v）RDD上调用，返回一个（k,Iterable）。主要作用是将相同的所有的键值对分组到一个集合序列当中，其顺序是不确定的。groupByKey是把所有的键值对集合都加载到内存中存储计算，若一个键对应值太多，则易导致内存溢出。

在此，用之前求并集的union方法，将pair1，pair2变为有相同键值的pair3，而后进行groupByKey

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 5]

**11.reduceByKey（function，\[numTasks\]）**

与groupByKey类似，却有不同。如(a,1), (a,2), (b,1), (b,2)。groupByKey产生中间结果为( (a,1), (a,2) ), ( (b,1), (b,2) )。而reduceByKey为(a,3), (b,3)。

reduceByKey主要作用是聚合，groupByKey主要作用是分组。（function对于key值来进行聚合）  
![在这里插入图片描述][20191104142626687.png]

**12.aggregateByKey（zeroValue）（seqOp， combOp， \[numTasks\]）**

类似reduceByKey，对pairRDD中想用的key值进行聚合操作，使用初始值（seqOp中使用，而combOpenCL中未使用）对应返回值为pairRDD，而区于aggregate（返回值为非RDD）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 6]

**13.sortByKey（\[ascending\], \[numTasks\]）**

同样是基于pairRDD的，根据key值来进行排序。ascending升序，默认为true，即升序；numTasks  
![在这里插入图片描述][20191104142639511.png]

14.join（otherDataSet，\[numTasks\]）

加入一个RDD，在一个（k，v）和（k，w）类型的dataSet上调用，返回一个（k，（v，w））的pair dataSet。  
![在这里插入图片描述][20191104142646471.png]

**15.cogroup（otherDataSet，\[numTasks\]）**

合并两个RDD，生成一个新的RDD。实例中包含两个Iterable值，第一个表示RDD1中相同值，第二个表示RDD2中相同值（key值），这个操作需要通过partitioner进行重新分区，因此需要执行一次shuffle操作。（若两个RDD在此之前进行过shuffle，则不需要）

![在这里插入图片描述][20191104142655538.png]

**16.cartesian（otherDataSet）**

求笛卡尔乘积。该操作不会执行shuffle操作。  
![在这里插入图片描述][20191104142702918.png]

**17.pipe（command，\[envVars\]）**

通过一个shell命令来对RDD各分区进行“管道化”。通过pipe变换将一些shell命令用于Spark中生成的新RDD，如：  
![在这里插入图片描述][20191104142709793.png]

（借图，莫怪\_）

**18.coalesce（numPartitions）**

重新分区，减少RDD中分区的数量到numPartitions。

![在这里插入图片描述][20191104142719566.png]

**19.repartition（numPartitions）**

repartition是coalesce接口中shuffle为true的简易实现，即Reshuffle RDD并随机分区，使各分区数据量尽可能平衡。若分区之后分区数远大于原分区数，则需要shuffle。

![在这里插入图片描述][20191104142725145.png]

**20.repartitionAndSortWithinPartitions（partitioner）**

该方法根据partitioner对RDD进行分区，并且在每个结果分区中按key进行排序。

Action：

**1.reduce（function）**

reduce将RDD中元素两两传递给输入函数，同时产生一个新值，新值与RDD中下一个元素再被传递给输入函数，直到最后只有一个值为止。

![在这里插入图片描述][20191104142740307.png]

**2.collect（）**

将一个RDD以一个Array数组形式返回其中的所有元素。（具体内容参见：

https://blog.csdn.net/Fortuna\_i/article/details/80851775）

![在这里插入图片描述][2019110414274855.png]

**3.count（）**

返回数据集中元素个数，默认Long类型。  
![在这里插入图片描述][20191104142754608.png]

**4.first（）**

返回数据集的第一个元素（类似于take(1)）  
![在这里插入图片描述][20191104142800454.png]

**5.takeSample（withReplacement， num， \[seed\]）**

对于一个数据集进行随机抽样，返回一个包含num个随机抽样元素的数组，withReplacement表示是否有放回抽样，参数seed指定生成随机数的种子。

该方法仅在预期结果数组很小的情况下使用，因为所有数据都被加载到driver端的内存中。

![在这里插入图片描述][20191104142805998.png]

**6.take（n）**

返回一个包含数据集前n个元素的数组（从0下标到n-1下标的元素），不排序。  
![在这里插入图片描述][20191104142810688.png]

**7.takeOrdered（n，\[ordering\]）**

返回RDD中前n个元素，并按默认顺序排序（升序）或者按自定义比较器顺序排序。  
![在这里插入图片描述][2019110414281698.png]

**8.saveAsTextFile（path）**

将dataSet中元素以文本文件的形式写入本地文件系统或者HDFS等。Spark将对每个元素调用toString方法，将数据元素转换为文本文件中的一行记录。

若将文件保存到本地文件系统，那么只会保存在executor所在机器的本地目录。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 7]

**9.saveAsSequenceFile（path）（Java and Scala）**

将dataSet中元素以Hadoop SequenceFile的形式写入本地文件系统或者HDFS等。（对pairRDD操作）  
![在这里插入图片描述][20191104142827596.png]

**10.saveAsObjectFile（path）（Java and Scala）**

将数据集中元素以ObjectFile形式写入本地文件系统或者HDFS等。  
![在这里插入图片描述][20191104142838800.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 8]

**11.countByKey（）**

用于统计RDD\[K,V\]中每个K的数量，返回具有每个key的计数的（k，int）pairs的hashMap。  
![在这里插入图片描述][20191104142904722.png]

**12.foreach（function）**

对数据集中每一个元素运行函数function。

![在这里插入图片描述][20191104142912459.png]

补充：Spark2.3及之后的官方文档中将原\[numTasks\]任务数参数改为了\[numPartitions\]分区数。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 9]

————————————————  
版权声明：本文为CSDN博主「Fortuna\_i」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/fortuna\_i/article/details/81170565

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191104142339988.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142435568.png]: https://img-blog.csdnimg.cn/20191104142435568.png
[20191104142457951.png]: https://img-blog.csdnimg.cn/20191104142457951.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191104142516447.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191104142534154.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142541154.png]: https://img-blog.csdnimg.cn/20191104142541154.png
[2019110414254736.png]: https://img-blog.csdnimg.cn/2019110414254736.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191104142551695.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142601393.png]: https://img-blog.csdnimg.cn/20191104142601393.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191104142606284.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20191104142618604.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142626687.png]: https://img-blog.csdnimg.cn/20191104142626687.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20191104142633204.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142639511.png]: https://img-blog.csdnimg.cn/20191104142639511.png
[20191104142646471.png]: https://img-blog.csdnimg.cn/20191104142646471.png
[20191104142655538.png]: https://img-blog.csdnimg.cn/20191104142655538.png
[20191104142702918.png]: https://img-blog.csdnimg.cn/20191104142702918.png
[20191104142709793.png]: https://img-blog.csdnimg.cn/20191104142709793.png
[20191104142719566.png]: https://img-blog.csdnimg.cn/20191104142719566.png
[20191104142725145.png]: https://img-blog.csdnimg.cn/20191104142725145.png
[20191104142740307.png]: https://img-blog.csdnimg.cn/20191104142740307.png
[2019110414274855.png]: https://img-blog.csdnimg.cn/2019110414274855.png
[20191104142754608.png]: https://img-blog.csdnimg.cn/20191104142754608.png
[20191104142800454.png]: https://img-blog.csdnimg.cn/20191104142800454.png
[20191104142805998.png]: https://img-blog.csdnimg.cn/20191104142805998.png
[20191104142810688.png]: https://img-blog.csdnimg.cn/20191104142810688.png
[2019110414281698.png]: https://img-blog.csdnimg.cn/2019110414281698.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20191104142821996.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142827596.png]: https://img-blog.csdnimg.cn/20191104142827596.png
[20191104142838800.png]: https://img-blog.csdnimg.cn/20191104142838800.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20191104142843997.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70
[20191104142904722.png]: https://img-blog.csdnimg.cn/20191104142904722.png
[20191104142912459.png]: https://img-blog.csdnimg.cn/20191104142912459.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20191104142921313.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NTI1OTA2,size_16,color_FFFFFF,t_70