Structure Streaming-单词计数

爱被打了一巴掌 2023-02-20 03:14 13阅读 0赞

为了使用稳定新的 Structure Streaming, 我们使用新版本.  
本案例是从一个网络端口中读取数据, 并统计每个单词出现的数量.  
**`导入依赖`**

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.4.3</version>
        </dependency>

代码

import org.apache.spark.sql.SparkSession
    
    object wordcount { 
      def main(args: Array[String]): Unit = { 
        val spark = SparkSession.builder().master("local[*]").appName("wordcount").getOrCreate()
        import spark.implicits._
        //1.从数据源数据源加载
        val lines = spark.readStream.format("socket").option("host", "hadoop102").option("port", 9999).load
    
        val words = lines.as[String].flatMap(_.split(" "))
    
        val wordCounts = words.groupBy("value").count()
        //2.显示输出
        //模式有complete append update
        val result= wordCounts
          .writeStream.format("console")
          .outputMode("complete")
          .start
    
        result.awaitTermination()
        spark.stop()
    
      }
    }

在Hadoop上  
![在这里插入图片描述][20200622224923707.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

[20200622224923707.png]: https://img-blog.csdnimg.cn/20200622224923707.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200622224950642.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关七、Structured Streaming Kafka

1、pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.bui...

朱雀/ 2024年04月18日 16:01/ 0 赞/ 67 阅读

相关 Structured Streaming 简介

1. Structured Streaming 关键思想把数据流视作一张数据不断增加的表，这样用户就可以基于这张表进行数据处理，就好像使用批处理来处理

雨点打透心脏的1/2处/ 2023年06月19日 11:12/ 0 赞/ 31 阅读

相关 Structure Streaming-RateResource

以固定的速率生成固定格式的数据, 用来测试 Structured Streaming 的性能. import org.apache.spark.sql.SparkSe

╰+哭是因爲堅強的太久メ/ 2023年02月20日 03:17/ 0 赞/ 23 阅读

相关 Structure Streaming-单词计数

为了使用稳定新的 Structure Streaming, 我们使用新版本. 本案例是从一个网络端口中读取数据, 并统计每个单词出现的数量. `导入依赖` <

爱被打了一巴掌/ 2023年02月20日 03:14/ 0 赞/ 14 阅读

相关 Structured Streaming详解

目录一、Structured Streaming概述（1）Structured Streaming背景（2）S

àì夳堔傛蜴生んèń/ 2022年12月29日 11:27/ 0 赞/ 148 阅读

相关 Structured Streaming架构原理详解！

目录一、Structured Streaming概述二、Structured Streaming与Socket集成三、Str

妖狐艹你老母/ 2022年12月11日 12:13/ 0 赞/ 268 阅读

相关 Spark Streaming 对比 Structured Streaming

[Spark——Spark Streaming 对比 Structured Streaming][Spark_Spark Streaming _ Structured Stre

青旅半醒/ 2022年10月07日 00:58/ 0 赞/ 22 阅读

相关 Structured Streaming

Spark2.0新增了Structured Streaming，它是基于SparkSQL构建的可扩展和容错的流式数据处理引擎，使得实时流式数据计算可以和离线计算采用相同的处理方

阳光穿透心脏的1/2处/ 2022年06月02日 23:26/ 0 赞/ 171 阅读

相关 Structured Streaming入门实例

Structured Streaming入门实例 Structured Streaming是Spark2.4版本推出的新的实时流处理计算。相比Spark Streamin

旧城等待，/ 2022年03月28日 12:48/ 0 赞/ 209 阅读

相关 Spark Structured Streaming

With the ubiquity of real-time data, organizations need streaming systems that are scala

雨点打透心脏的1/2处/ 2022年01月20日 11:59/ 0 赞/ 179 阅读