走进Spark Streaming

柔光的暖阳◎ 2024-04-18 11:25 63阅读 0赞

![640?wx\_fmt=png][640_wx_fmt_png]

**离散流DStream**

![640?wx\_fmt=png][640_wx_fmt_png]

DStream是Spark Streaming中的一个最基本的抽象，代表了一系列连续的数据流,本质上就是一系列的RDD。StreamingContext会根据设置的批处理的时间间隔将产生的RDD归为一批，这一批RDD就是一个DStream，该DStream里面产生都是相同业务逻辑的RDD，只不过是RDD里面读取的数据不相同。

DStream每隔一段时间生成一个RDD，我们对DStream进行操作，本质上就是对里面的对应时间的RDD进行操作。

DStream与DStream之间存在依赖关系，在一个固定时间点，两个存在依赖关系的DStream对应的RDD也存在依赖关系，每个固定的时间，其实产生了一个小的DAG，周期性的将生成的小的DAG提交到集群中运行。

![640?wx\_fmt=png][640_wx_fmt_png 1]

**批数据(****batch data****)**：这是化整为零的第一步，将实时流数据以时间片为单位进行分批，将流处理转化为时间片数据的批处理。随着持续时间的推移，这些处理结果就形成了对应的结果数据流了。

**时间片或批处理时间间隔（** **batch interval****）**：这是人为地对流数据进行定量的标准，以时间片作为我们拆分流数据的依据。一个时间片的数据对应一个RDD实例。

**窗口长度（****window length****）**：一个窗口覆盖的流数据的时间长度，必须是批处理时间间隔的倍数。

**Input DStream** : input DStream是一个特殊的DStream，将Spark Streaming连接到一个外部数据源来读取数据。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

[640_wx_fmt_png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/95338fe50fc549f7a0a78945eaf39c6e.png
[640_wx_fmt_png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/22936f2eb22247b3929f93e9623c05ef.png
[640_wx_fmt_jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/81d83047b46b4788b5fe4f819002d7c4.png