PySpark 学习笔记六

柔情只为你懂 2022-06-01 05:44 287阅读 0赞

**6 Structured Streaming**  
**6.1 What is Spark Streaming?**

Spark Streaming的核心是一个可扩展的容错流系统，它采用RDD批处理模式（即批量处理数据）并加快速度。  
如下图所示，Spark Streaming接收输入数据流，并在内部将该数据流分成多个较小的批次（其大小基于批处理间隔）。 Spark引擎将这些批量的输入数据处理成批量的结果集。  
![这里写图片描述][SouthEast]  
Spark Streaming的关键抽象是Discreteized Stream（DStream），它代表了前面提到的构成数据流的小批量。  
DStreams建立在RDD之上，允许Spark开发人员在RDD和批处理的相同环境中工作，现在只可应用于流问题。另外一个重要的方面是，由于使用Apache Spark，Spark Streaming集成了MLlib， SQL，DataFrames和GraphX。  
下面的图描述了Spark Streaming的基本组件：  
![这里写图片描述][SouthEast 1]

Spark Streaming是一个高级API，为有状态操作提供了一次性的容错。 Spark Streaming内置了接收器，可以承担很多来源，最常见的是Apache Kafka，Flume，HDFS /S3，Kinesis和Twitter。

**6.2 Why do we need Spark Streaming?**

大规模的实时开发可操作能力为企业提供了竞争优势。无论是在检测欺诈性交易，提供传感器异常实时检测，还是对下一个病毒式推特做出反应，流数据分析在数据科学家和数据工程师的工具箱中变得越来越重要。 Spark Streaming能够以准实时的方式容易地实现较为复杂的统计需求。  
Spark Streaming有四个广泛的用例：

*  Streaming ETL：数据在被推入下游之前不断被清理和汇总。这通常是为了减少最终数据存储中的数据量。
 *  Triggers:：实时检测异常行为或事件触发器下游行动。
 *  Data enrichment：加入其他数据集的实时数据可以进行更丰富的分析。例如，包括实时天气信息和航班信息，以建立更好的旅游警报。
 *  Complex sessions and continuous learning：利用多组与实时流相关的数据不断地分析或更新机器学习模型。例如，与在线游戏关联的用户活动流，使我们能够更好地细分用户。

**6.3 What is the Spark Streaming application data flow？**

下图提供了Spark的driver，workers，流源和目标之间的数据流：  
![这里写图片描述][SouthEast 2]  
这一切都以Spark Streaming Context开始，由上图中的ssc.start（）表示：

1.  当Spark Streaming Context启动时，driver将分配给executor（即workers ）一个长期任务。
2.  Executor（本图中的Executor1）上的接收者从流式源接收数据流。随着输入的数据流，接收器将流分成块并将这些块保存在内存中。
3.  这些数据块也被复制到另一个Executor，以避免数据丢失。
4.  数据块的 ID 信息 被传送到 driver 中的 Block Management Master上。
5.  对于Spark Streaming Context中配置的每个批处理间隔（通常这是每1秒），driver将启动Spark任务处理块。然后将这些块保存到任意数量的目标数据存储中，包括云存储（例如S3/WASB等），关系数据存储（例如MySQL，PostgreSQL等），以及NoSQL存储。

[SouthEast]: /images/20220601/79e78122545a412d8bd06a2b979c6d63.png
[SouthEast 1]: /images/20220601/3c3fe8fd29ab48209f79167b6f3cf6e4.png
[SouthEast 2]: /images/20220601/054b8f1639724f3a9d212f7444c5d806.png