DStream是什么?怎样对DStream进行操作?

素颜马尾好姑娘i 2023-10-09 18:08 37阅读 0赞

**DStream的本质**

DStream(Discretized Stream)是Spark Streaming提供的基本数据抽象。它表示一个连续的数据流，可以是从源接收到的输入数据流，也可以是通过转换输入流生成的已处理数据流。

DStream由一系列连续的RDD表示，每个RDD都包含来自特定间隔的数据，如下图所示。SparkStreaming对流数据按照秒/分等时间间隔进行微批划分，每个微批就是一个RDD，这些个时间上连续的RDD就组成了

DStream

所以DStream本质上就是一系列时间上连续的RDD即DStream=>Seq\[RDD\]

![在这里插入图片描述][330a044527b54d9ca3e1e73a3b3243b6.png]  
**对DStream进行操作**

对DStream进行操作(如：flatMap/map/filter…)就是对其底层的RDD进行操作

对RDD操作会返回新的RDD，对DStream进行操作也会返回新的DStream  
![在这里插入图片描述][cb49042bd6564414b29517be7fd9106f.png]  
**DStream具有容错性：**

RDD之间存在依赖关系，DStream间也有依赖关系，RDD具有容错性，那么DStream也具有容错性  
![在这里插入图片描述][cd700f8208c149f79547d136662f215d.png]  
上图相关说明：

1、每一个椭圆形表示一个RDD

2、椭圆形中的每个圆形代表一个RDD中的一个Partition分区

3、每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream

4、每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

**DStream的API**

大多数Transformation和Action/Output和之前的RDD的一样使用.少部分不一样的通过案例讲解

DStream Operations  
Transformation  
大多数和RDD中的类似，但有一些特殊的针对特定类型应用使用的函数，比如updateStateByKey状态函数、window窗口函数等，后续具体结合案例讲解。  
http://spark.apache.org/docs/latest/streaming-programming-guide.html\#transformations-on-dstreams

![在这里插入图片描述][5914da1e9bbc478eb88a2fa2fae7dabf.png]  
**Output函数**

Output Operations:将DStream中每批次RDD处理结果resultRDD输出  
http://spark.apache.org/docs/latest/streaming-programming-guide.html\#output-operations-on-dstreams

![在这里插入图片描述][bd699797bd694cab996b82dd8c70d431.png]  
**Java最新课程：**

[**Java零基础视频教程(2022最新Java入门，含斯坦福大学练习题+力扣算法题**][Java_2022_Java]

**Java基础入门：**

[**java零基础自学首Java入门教程（含Java项目和Java真题）**][java_Java_Java_Java]

**Javaweb核心基础**

[**JavaWeb基础教程，Java web从入门到企业实战完整版**][JavaWeb_Java web]

**Spring Cloud最全微服务架构**：

[**史上最全面的springcloud微服务技术栈**][springcloud]

**SSM框架教程：**

[**SSM框架教程\_Spring+SpringMVC+Maven高级+Spring**][SSM_Spring_SpringMVC_Maven_Spring]

[330a044527b54d9ca3e1e73a3b3243b6.png]: https://img-blog.csdnimg.cn/330a044527b54d9ca3e1e73a3b3243b6.png
[cb49042bd6564414b29517be7fd9106f.png]: https://img-blog.csdnimg.cn/cb49042bd6564414b29517be7fd9106f.png
[cd700f8208c149f79547d136662f215d.png]: https://img-blog.csdnimg.cn/cd700f8208c149f79547d136662f215d.png
[5914da1e9bbc478eb88a2fa2fae7dabf.png]: https://img-blog.csdnimg.cn/5914da1e9bbc478eb88a2fa2fae7dabf.png
[bd699797bd694cab996b82dd8c70d431.png]: https://img-blog.csdnimg.cn/bd699797bd694cab996b82dd8c70d431.png
[Java_2022_Java]: https://www.bilibili.com/video/BV17F411T7Ao?spm_id_from=333.999.0.0
[java_Java_Java_Java]: https://www.bilibili.com/video/BV1Cv411372m?spm_id_from=333.999.0.0
[JavaWeb_Java web]: https://www.bilibili.com/video/BV1Qf4y1T7Hx?spm_id_from=333.999.0.0
[springcloud]: https://www.bilibili.com/video/BV1LQ4y127n4?spm_id_from=333.999.0.0
[SSM_Spring_SpringMVC_Maven_Spring]: https://www.bilibili.com/video/BV1Fi4y1S7ix?spm_id_from=333.999.0.0