Spark基本操作

小鱼儿 2022-10-01 06:42 142阅读 0赞

# 概念 #

## **Transformation**： ##

根据已有RDD创建新的RDD数据集build

（1）map(func)：对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD，这个返回的数据集是分布式的数据集。

（2）filter(func) ：对调用filter的RDD数据集中的每个元素都使用func，然后返回一个包含使func为true的元素构成的RDD。

（3）flatMap(func)：和map很像，但是flatMap生成的是多个结果。

（4）mapPartitions(func)：和map很像，但是map是每个element，而mapPartitions是每个partition。

（5）mapPartitionsWithSplit(func)：和mapPartitions很像，但是func作用的是其中一个split上，所以func中应该有index。

（6）sample(withReplacement,faction,seed)：抽样。

（7）union(otherDataset)：返回一个新的dataset，包含源dataset和给定dataset的元素的集合。

（8）distinct(\[numTasks\])：返回一个新的dataset，这个dataset含有的是源dataset中的distinct的element。

（9）groupByKey(numTasks)：返回(K,Seq\[V\])，也就是Hadoop中reduce函数接受的key-valuelist。

（10）reduceByKey(func,\[numTasks\])：就是用一个给定的reduce func再作用在groupByKey产生的(K,Seq\[V\])，比如求和，求平均数。

（11）sortByKey(\[ascending\],\[numTasks\])：按照key来进行排序，是升序还是降序，ascending是boolean类型。

## **Action**： ##

在RDD数据集运行计算后，返回一个值或者将结果写入外部存储

（1）reduce(func)：就是聚集，但是传入的函数是两个参数输入返回一个值，这个函数必须是满足交换律和结合律的。

（2）collect()：一般在filter或者足够小的结果的时候，再用collect封装返回一个数组。

（3）count()：返回的是dataset中的element的个数。

（4）first()：返回的是dataset中的第一个元素。

（5）take(n)：返回前n个elements。

（6）takeSample(withReplacement，num，seed)：抽样返回一个dataset中的num个元素，随机种子seed。

（7）saveAsTextFile（path）：把dataset写到一个textfile中，或者HDFS，或者HDFS支持的文件系统中，Spark把每条记录都转换为一行记录，然后写到file中。

（8）saveAsSequenceFile(path)：只能用在key-value对上，然后生成SequenceFile写到本地或者Hadoop文件系统。

（9）countByKey()：返回的是key对应的个数的一个map，作用于一个RDD。

（10）foreach(func)：对dataset中的每个元素都使用func。

# 操作 #

老师上课讲的(前方高能

> file.filter(line => line.length>10).first().union(file).count()  
> file.sample(true,0.5).count

*  在Spark窗口，加载数据，将数据转变为RDD  
    val rdd = sc.textFile(“hdfs://localhost:9000/myspark3/wordcount/buyer\_favorite”);
 *  对RDD进行统计并将结果打印输出。  
    rdd1.map(line => ( line.split(’\\t’)(1).toInt, line.split(’\\t’)(0) ) ).sortByKey(true).collect
 *  对rdd1和rdd2进行map映射，得出关键的两个列的数据  
    val rdd11 = rdd1.map(line=> (line.split(’\\t’)(0), line.split(’\\t’)(2)) )  
    val rdd22 = rdd2.map(line=> (line.split(’\\t’)(1), line.split(’\\t’)(2)) )
 *  将rdd11以及rdd22中的数据，根据Key值，进行Join关联，得到最终结果  
    val rddresult = rdd11 join rdd22
 *  用collect()方法启动程序  
    rddjoin.collect

发表评论取消回复

表情：

评论列表（有 0 条评论，142人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark基本操作----持续更新中

通过spark-submit 提交任务到spark on yarn上 ./spark-submit --class WordCount --master yarn

待我称王封你为后i/ 2023年06月23日 09:55/ 0 赞/ 28 阅读

相关 Spark基本操作

概念 Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的每个element都使

小鱼儿/ 2022年10月01日 06:42/ 0 赞/ 143 阅读

相关 Spark Streaming中的基本操作函数实例

参考文章：[Spark Streaming中的基本操作函数实例][Spark Streaming] 官网文档中，大概可分为这几个 [Transformations][]

Love The Way You Lie/ 2022年09月14日 11:26/ 0 赞/ 172 阅读

相关 spark-shell基本的RDD操作

spark RDD的常用操作 RDD的操作分为两种，一种是转化操作，一种是执行操作，转化操作并不会立即执行，而是到了执行操作才会被执行转化操作： `map()` 参

ゝ一纸荒年。/ 2022年07月14日 10:59/ 0 赞/ 235 阅读

相关 Spark中的RDD基本操作

Spark中的RDD基本操作前言 RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图。这些知识点在别的地方介绍得非常多，本文

墨蓝/ 2022年05月31日 07:13/ 0 赞/ 288 阅读

相关 [Spark] RDD的基本操作

1. RDD的基本操作 RDD支持三种类型的操作： 1）transformation transformations，转换。从一个RDD转换成另外一个RDD（RDD是

男娘i/ 2022年05月20日 05:12/ 0 赞/ 453 阅读

相关 Spark系列--SparkCore(三)RDD基本操作

前言 RDD的基本操作分为两种，一种是转换Transformation，一种是行动Action RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反

r囧r小猫/ 2022年05月20日 05:06/ 0 赞/ 247 阅读

相关 Spark 基本算子

前言在前面的几章内, 我们分别介绍了`Spark的安装`与`Spark Shell的基本操作`. 本章, 我们注重介绍下`Spark的基本算子`. Spark的相关权

╰+攻爆jí腚メ/ 2022年01月26日 10:11/ 0 赞/ 289 阅读

相关 Spark 系列（十四）—— Spark Streaming 基本操作

一、案例引入这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <

╰半橙微兮°/ 2021年10月29日 11:26/ 0 赞/ 356 阅读

相关 Spark 系列（十四）—— Spark Streaming 基本操作

一、案例引入这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <

水深无声/ 2021年10月29日 07:58/ 0 赞/ 364 阅读