spark算子的分类

淩亂°似流年 2024-02-19 15:22 48阅读 0赞

spark内置了非常多有用的算子（方法），通过对这些算子的组合就可以完成业务需要的功能，spark的编程归根结底就是对spark算子的使用，因此非常有必要对这些内置算子进行详细的归纳。

### spark算子在大的方向上可以分为两类： ###

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Transformation</td> 
   <td>变换、转换算子：不触发提交作业，只是完成作业中间过程处理；Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。Transformation参数类型为value或者key-value的形式。</td> 
  </tr> 
  <tr> 
   <td>Action</td> 
   <td>行动算子：触发SparkContext提交job作业。Action 算子会触发 Spark 提交作业（Job），并将数据输出 Spark系统。</td> 
  </tr> 
 </tbody> 
</table>

### value 类型 ###

<table> 
 <thead> 
  <tr> 
   <th>细类型</th> 
   <th>算子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>输入分区与输出分区一对一型</td> 
   <td>map flatMap mapPartitions glom</td> 
  </tr> 
  <tr> 
   <td>输入分区与输出分区多对一型</td> 
   <td>union cartesain</td> 
  </tr> 
  <tr> 
   <td>-Cache型</td> 
   <td>cache persist</td> 
  </tr> 
  <tr> 
   <td>输出分区为输入分区子集型</td> 
   <td>filter distinct substract sample takeSample</td> 
  </tr> 
  <tr> 
   <td>输入分区与输出分区多对多型</td> 
   <td>groupBy</td> 
  </tr> 
 </tbody> 
</table>

### key-value类型 ###

<table> 
 <thead> 
  <tr> 
   <th>细类型</th> 
   <th>算子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>输入分区与输出分区一对一</td> 
   <td>mapValues</td> 
  </tr> 
  <tr> 
   <td>对单个RDD或两个RDD聚集</td> 
   <td>单个RDD聚集: combineByKey reduceByKey partitionBy两个RDD聚集: Cogroup</td> 
  </tr> 
  <tr> 
   <td>连接</td> 
   <td>joinleftOutJoin和 rightOutJoin</td> 
  </tr> 
 </tbody> 
</table>

### Action算子 ###

<table> 
 <thead> 
  <tr> 
   <th>细类型</th> 
   <th>算子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>无输出</td> 
   <td>foreach</td> 
  </tr> 
  <tr> 
   <td>HDFS</td> 
   <td>saveAsTextFilesaveAsObjectFile</td> 
  </tr> 
  <tr> 
   <td>Scala集合和数据类型</td> 
   <td>collect collectAsMap reduceByKeyLocally lookup count top reduce fol aggregate</td> 
  </tr> 
 </tbody> 
</table>