SparkStreaming（一）：概述

以你之姓@ 2022-12-23 14:26 154阅读 0赞

### 文章目录 ###

*  一、SparkStreaming 概述
 *   *  1.1 Spark Streaming 是什么
     *  1.2 Spark Streaming 架构
 *  二、DStream 入门
 *   *  2.1 WordCount 案例
     *  2.2 WordCount 解析

# 一、SparkStreaming 概述 #

## 1.1 Spark Streaming 是什么 ##

![在这里插入图片描述][20201125152916242.png]

> Spark流使得构建可扩展的容错流应用程序变得更加容易

**基础概念：**

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>实时</td> 
   <td>数据处理的延迟在毫秒级进行响应</td> 
  </tr> 
  <tr> 
   <td>离线</td> 
   <td>数据处理的延迟在小时，天，月，年进行响应</td> 
  </tr> 
  <tr> 
   <td>批处理</td> 
   <td>数据处理的方式</td> 
  </tr> 
  <tr> 
   <td>流式</td> 
   <td>数据处理的方式</td> 
  </tr> 
 </tbody> 
</table>

`Spark Streaming`无法实现真正的流式数据处理，使用了微批次数据处理。

`Spark Streaming`用于流式数据的处理。`Spark Streaming`支持的数据输入源很多，例如：`Kafka`、`Flume`、`Twitter`、`ZeroMQ`和简单的`TCP`套接字等等。数据输入后可以用`Spark`的高度抽象原语如：`map`、`reduce`、`join`、`window`等进行运算。而结果也能保存在很多地方，如`HDFS`，数据库等。  
![在这里插入图片描述][20201125154502532.png]  
和`Spark`基于`RDD`的概念很相似，`Spark Streaming`使用离散化流(`discretized stream`)作为抽象表示，叫作`DStream`。`DStream`是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为`RDD`存在，而`DStream`是由这些`RDD`所组成的序列(因此得名“离散化”)。所以简单来将，`DStream`就是对`RDD`在实时数据处理场景的一种封装。

## 1.2 Spark Streaming 架构 ##

**① 架构图**

整体架构图：  
![在这里插入图片描述][2020112515535783.png]  
`SparkStreaming`架构图：  
![在这里插入图片描述][20201125155414688.png]

**② 背压机制**

`Spark1.5`以前版本，用户如果要限制`Receiver`的数据接收速率，可以通过设置静态配制参数`spark.streaming.receiver.maxRate`的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。比如：`producer`数据生产高于`maxRate`，当前集群处理能力也高于`maxRate`，这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力，`1.5`版本开始`Spark Streaming`可以动态控制数据接收速率来适配集群数据处理能力。背压机制（即`Spark Streaming Backpressure`）: 根据`JobScheduler`反馈作业的执行信息来动态调整`Receiver`数据接收率。

通过属性`spark.streaming.backpressure.enabled`来控制是否启用`backpressure`机制，默认值`false`，即不启用。

# 二、DStream 入门 #

## 2.1 WordCount 案例 ##

**需求**：使用`netcat`工具向9999端口不断的发送数据，通过`SparkStreaming`读取端口数据并统计不同单词出现的次数。

**添加依赖：**

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.12</artifactId>
        <version>2.4.5</version>
    </dependency>

**编写代码：**

object SparkStreamingTest { 
      def main(args: Array[String]): Unit = { 
        //1、初始化Spark配置信息
        val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreamingTest")
        //2、初始化SparkStreamingContext
        val ssc = new StreamingContext(sparkConf, Seconds(3))
        //3、通过监控端口创建DStream，读进来的数据是一行一行
        val lineStreams: ReceiverInputDStream[String] = ssc.socketTextStream("mylinux", 9559)
        //4、对采集数据进行操作
        val wordStream = lineStreams.flatMap(_.split(" "))
        val wordAndOneStream = wordStream.map((_, 1))
        val wordCountStream = wordAndOneStream.reduceByKey(_ + _)
        //打印
        wordCountStream.print()
        //启动SparkStreamingContext
        ssc.start()
        ssc.awaitTermination()
    
      }
    }

启动程序并通过`netcat`发送数据

[root@rich /]# nc -lp 9559
    sa
    d
    f
    s

此时控制台打印：

-------------------------------------------
    Time: 1606357032000 ms
    -------------------------------------------
    (sa,1)
    (d,1)
    (f,1)
    (s,1)

## 2.2 WordCount 解析 ##

`Discretized Stream`是`Spark Streaming`的基础抽象，代表持续性的数据流和经过各种`Spark`原语操作后的结果数据流。在内部实现上，`DStream`是一系列连续的`RDD`来表示。每个`RDD`含有一段时间间隔内的数据。  
![在这里插入图片描述][20201126105911733.png]  
对数据的操作也是按照`RDD`为单位来进行的  
![在这里插入图片描述][20201126105926479.png]  
计算过程由`Spark Engine`来完成  
![在这里插入图片描述][20201126110224759.png]

[20201125152916242.png]: /images/20221120/72dfeff781b64d9db230b26a31c3963f.png
[20201125154502532.png]: /images/20221120/f9627cc38f5a447cb576ab292e36a458.png
[2020112515535783.png]: /images/20221120/afb1566e9187413786027cedbcbeb950.png
[20201125155414688.png]: /images/20221120/ca464420ecb641e2a769bfbdb22d8e06.png
[20201126105911733.png]: /images/20221120/ae6b3be9fff0403b816135a262a3fc05.png
[20201126105926479.png]: /images/20221120/2aea1bd65be544e78565a445ff49a59e.png
[20201126110224759.png]: /images/20221120/52def82daea041c5bf7ceeb7d9571bcc.png