sparksql获取网络输入流

绝地灬酷狼 2022-07-12 23:51 141阅读 0赞

不解释—–

package org.apache.spark.examples.sql.streaming
    
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.SparkSession
    
    object StructuredNetworkWordCount {
      def main(args: Array[String]) {
        if (args.length < 2) {
          System.err.println("Usage: StructuredNetworkWordCount <hostname> <port>")
          System.exit(1)
        }
    
        val host = args(0)
        val port = args(1).toInt
        //sparksql里面的
        val spark = SparkSession
          .builder
          .appName("StructuredNetworkWordCount")
          .getOrCreate()
    
        import spark.implicits._
    
        //创建DataFrame
        val lines = spark.readStream
          .format("socket")
          .option("host", host)
          .option("port", port)
          .load().as[String]
    
        // 切分字符串
        val words = lines.flatMap(_.split(" "))
    
        //分组
        val wordCounts = words.groupBy("value").count()
    
        // Start running the query that prints the running counts to the console
        val query = wordCounts.writeStream
          .outputMode("complete")
          .format("console")
          .start()
    
        query.awaitTermination()
      }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 IO流、输入、输出流

一、IO流输入输出流: I input : O output 1.IO分类: 按照方向分: 输入流和输出流输入流: 读操作输出流: 写操作按照IO管道

忘是亡心i/ 2023年10月04日 19:19/ 0 赞/ 88 阅读

相关 java通过读取网络文件url，获取输入流

/读取网络文件/ public static InputStream getFileInputStream(String path) {

今天药忘吃喽~/ 2023年02月16日 15:27/ 0 赞/ 16 阅读

相关输入输出流

java的输入输出按照流的方向以及处理的数据单位主要可以分为四大类： 1.InputStream，用于处理字节的输入 2.OutputStream，用于处理字节的输出

亦凉/ 2022年11月22日 00:11/ 0 赞/ 254 阅读

相关 java 获取流数据,java从输入流中获取数据并返回字节数组示例

import java.io.bytearrayoutputstream; import java.io.inputstream; //从输入流中获取数据并以字节数组返回

墨蓝/ 2022年11月18日 05:55/ 0 赞/ 108 阅读

相关 JAVA输入流

一、 import java.util.Scanner;//util是利用的意思，比如这个是：使用输入流 public class Main{

怼烎@/ 2022年09月26日 13:53/ 0 赞/ 147 阅读

相关标准输入流

get 从流中提取字符，包括空格 read 无格式输入指定字节数 getline 从流中提取一行字符 ignore 提取并丢弃流中指定字符 peek 返回流中下

灰太狼/ 2022年09月25日 10:18/ 0 赞/ 229 阅读

相关 sparksql获取网络输入流

不解释—– package org.apache.spark.examples.sql.streaming import org.apache.sp

绝地灬酷狼/ 2022年07月12日 23:51/ 0 赞/ 142 阅读

相关 IO流---输入流--FileInputStream

InputStream：输入流，将文件从硬盘读取到内存 OutputStream:输出流，将文件从内存写入到硬盘第一种读取方式：自己指定固定的字节数组，一批一批地进行读

╰+哭是因爲堅強的太久メ/ 2022年05月15日 04:41/ 0 赞/ 260 阅读

相关输入输出流

一：字节流 public void test() throws Exception { File file = new File("D:\\z

深藏阁楼爱情的钟/ 2022年04月18日 00:10/ 0 赞/ 339 阅读

相关 IO流(输入、输出流)

流类图接口 ![image][] 流的概念和作用 `流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数

深藏阁楼爱情的钟/ 2022年03月21日 14:15/ 0 赞/ 385 阅读