SparkStreaming (二) --------- Dstream 入门

朱雀 2024-04-07 13:12 87阅读 0赞

#### 目录 ####

*  一、WordCount 案例实操
 *  二、WordCount 解析

--------------------

## 一、WordCount 案例实操 ##

需求：使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统计不同单词出现的次数

**A、添加依赖**

<dependency>
    	<groupId>org.apache.spark</groupId>
    	<artifactId>spark-streaming_2.12</artifactId>
    	<version>3.0.0</version>
    </dependency>

**B、编写代码**

object StreamWordCount {
        
    	def main(args: Array[String]): Unit = {
        
    		//1.初始化 Spark 配置信息
    		val sparkConf = new SparkConf().setMaster("local[*]").setAppName("StreamWordCount")
    		//2.初始化 SparkStreamingContext
    		val ssc = new StreamingContext(sparkConf, Seconds(3))
    		//3.通过监控端口创建 DStream，读进来的数据为一行行
    		val lineStreams = ssc.socketTextStream("linux1", 9999)
    		//将每一行数据做切分，形成一个个单词
    		val wordStreams = lineStreams.flatMap(_.split(" "))
    		//将单词映射成元组（word,1）
    		val wordAndOneStreams = wordStreams.map((_, 1))
    		//将相同的单词次数做统计
    		val wordAndCountStreams = wordAndOneStreams.reduceByKey(_+_)
    		//打印
    		wordAndCountStreams.print()
    		//启动 SparkStreamingContext
    		ssc.start()
    		ssc.awaitTermination()
    	}
    }

**C、启动程序并通过 netcat 发送数据**

nc -lk 9999
    hello spark

## 二、WordCount 解析 ##

Discretized Stream 是 Spark Streaming 的基础抽象，代表持续性的数据流和经过各种 Spark 原语操作后的结果数据流。在内部实现上，DStream 是一系列连续的 RDD 来表示。每个 RDD 含有一段时间间隔内的数据。

![在这里插入图片描述][d179d9068118494b84f29f64a1e5a27f.png]  
对数据的操作也是按照 RDD 为单位来进行的

![在这里插入图片描述][6db93212f42843bb981bc93b87d2ccfd.png]  
计算过程由 Spark Engine 来完成

![在这里插入图片描述][cdc3d3a5fdda46a2be9b5c62e3ae6d44.png]

[d179d9068118494b84f29f64a1e5a27f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a974af6e5c964fdea71c764e7b9c4c90.png
[6db93212f42843bb981bc93b87d2ccfd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/62e5686a53414bb7950d1c2051236d2a.png
[cdc3d3a5fdda46a2be9b5c62e3ae6d44.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f900b0e26cdb4ab9ac676815b86efd97.png