IMF传奇行动第84课：Spark Streaming第三课：StreamingContext、DStream、Receiver深度剖析

本是古典何须时尚 2022-08-21 11:58 184阅读 0赞

本课分成四部分讲解:

第一部分对StreamingContext功能及源码剖析；

第二部分对DStream功能及源码剖析；

第三部分对Receiver功能及源码剖析；

最后一部分将StreamingContext、DStream、Receiver结合起来分析其流程。

注意：下面的图中带分号结尾的是Java代码，否则是Scala代码，请谅解。

# 一、StreamingContext功能及源码剖析： #

1、通过StreamingContext实例对象jssc，创建应用程序主入口，并连上Driver上的接收数据服务端口9999写入源数据：

![SouthEast][]

2、StreamingContext的主要功能有：

*  主程序的入口；
 *  提供了各种创建DStream 的方法接收各种流入的数据源（例如：Kafka 、Flume 、Twitter 、ZeroMQ 和简单的TCP 套接字等）；
 *  通过构造函数实例化 StreamingContext 对象 时，可以指定master URL 、appName 、或者传入SparkConf 配置对象、或者已经创建的SparkContext 对象；
 *  将接收的数据流传入DStreams 对象中；
 *  通过StreamingContext 对象实例的start 方法启动当前应用程序的流计算框架或通过stop 方法结束当前应用程序的流计算框架。

![SouthEast 1][]

# 二、DStream功能及源码剖析： #

1、DStream是RDD的模板，RDD是抽象的，DStream也是抽象的。

2、DStream的具体实现子类如下图所示：![SouthEast 2][]

3、以StreamingContext实例的socketTextSteam方法为例，其执行完的结果返回DStream对象实例，其源码调用过程如下图：

![SouthEast 3][]

![SouthEast 4][]

![SouthEast 5][]

![SouthEast 6][]

![SouthEast 7][]

![SouthEast 8][]

注意：socket.getInputStream用来获取数据，while循环用来存储数据(到内存、磁盘)。

# 三、Receiver功能及源码剖析： #

1、Receiver代表数据的输入，接收外部输入的数据，如从Kafka上抓取数据；

2、Receiver运行在Worker节点上；

3、Receiver在Worker节点上抓取Kafka分布式消息框架上的数据时，具体实现类是KafkaReceiver；

4、Receiver是抽象类，其抓取数据的实现子类如下图所示；

5、如果上述实现类都满足不了您的要求，您自己可以定义Receiver类，只需要继承Receiver抽象类来实现自己子类的业务需求。 ![SouthEast 9][]

#    四、StreamingContext、DStream、Receiver结合流程分析：![SouthEast 10][] #

（1）inputStream代表了数据输入流(如：Socket、Kafka、Flume等)

（2）Transformation代表了对数据的一系列操作，如flatMap、map等

（3）outputStream代表了数据的输出，例如wordCount中的println方法

![SouthEast 11][]

![SouthEast 12][] ![SouthEast 13][]

数据数据在流进来之后最终会生成Job，最终还是基于Spark Core的RDD进行执行：在处理流进来的数据时是DStream进行Transformation由于是StreamingContext所以根本不会去运行，StreamingContext会根据Transformation生成”DStream的链条”及DStreamGraph，而DStreamGraph就是DAG的模板，这个模板是被框架托管的。当我们指定时间间隔的时候，Driver端就会根据这个时间间隔来触发Job而触发Job的方法就是根据OutputDStream中指定的具体的function,例如wordcount中print，这个函数一定会传给ForEachDStream，它会把函数交给最后一个DStream产生的RDD，也就是RDD的print操作，而这个操作就是RDD触发Action。

** **

**总结：**

使用Spark Streaming可以处理各种数据来源类型，如：数据库、HDFS，服务器log日志、网络流，其强大超越了你想象不到的场景，只是很多时候大家不会用，其真正原因是对Spark、sparkstreaming本身不了解。

课程笔记来源:

DT大数据梦工厂IMF传奇行动课程学员整理。YY直播永久课堂频道68917580每晚8点准时开课。

**Life is short, you need spark!**

![SouthEast 14][]

[SouthEast]: /images/20220724/e02b66271c784e518c317b747a3d616f.png
[SouthEast 1]: /images/20220724/0134cefdcb8f4d078b6ec9df68f66c51.png
[SouthEast 2]: /images/20220724/10bd53ecf7584048922f5d2d7cd53fb9.png
[SouthEast 3]: /images/20220724/630e29beb6c946a5a56ed61577b04cd7.png
[SouthEast 4]: /images/20220724/d8fdac97137e47048a25bd06dbff1691.png
[SouthEast 5]: /images/20220724/8bfba572a4004242a7195dacb5b538da.png
[SouthEast 6]: /images/20220724/8df62bf126b040caafd48ffef17839d8.png
[SouthEast 7]: /images/20220724/b5ee8a29ac074be5af9830eeb7a3bd3e.png
[SouthEast 8]: /images/20220724/8fb68e20161f491cb6e7256171cfeef5.png
[SouthEast 9]: /images/20220724/99596d0e224b4b26bc7f97a7fa8b9f96.png
[SouthEast 10]: /images/20220724/b172072c72a04bbe8df7463ad9684058.png
[SouthEast 11]: /images/20220724/019b0323c3324273bf033c725c0c8d5b.png
[SouthEast 12]: https://img-blog.csdn.net/20160430104731082?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast
[SouthEast 13]: /images/20220724/b563cb466af34ffd93d3078c83f2f712.png
[SouthEast 14]: /images/20220724/089236f38cb64f15a62924a29e4a212a.png