spark案例——wordcount

古城微笑少年丶 2023-10-06 19:43 94阅读 0赞

local本地模式

添加pom依赖

<properties>
        <scala.version>2.12.0</scala.version>
      </properties>
    
    <dependencies>
        <dependency>
          <groupId>org.scala-lang</groupId>
          <artifactId>scala-library</artifactId>
          <version>${scala.version}</version>
        </dependency>
        <dependency>
          <groupId>org.apache.spark</groupId>
          <artifactId>spark-core_2.12</artifactId>
          <version>3.0.0</version>
        </dependency>
      </dependencies>

自行准备一个文件word.txt

//创建spark运行配置对象
        val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    
        //创建spark上下文对象(连接对象)
        val sc: SparkContext = new SparkContext(sparkConf)
    
        //读取文件
        val file: RDD[String] = sc.textFile("src/main/inputfile/word.txt")
    	//如果文件在hdfs上
    	// val file: RDD[String] = sc.textFile("hdfs://ip地址:9820/study/sparktest/word.txt")
    
        //计算
        file.flatMap(_.split(" "))
          .map((_,1))
          .reduceByKey(_+_)
          .collect()
          .foreach(println)
    
        sc.stop()

如果想要保存结果

sc.textFile("src/main/inputfile/word.txt")
          .flatMap(_.split(" "))
          .map((_, 1))
          .reduceByKey(_ + _)
          .repartition(1)
            .saveAsTextFile("地址")

发表评论取消回复

表情：

评论列表（有 0 条评论，94人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据入门核心技术-Spark】（十五）Spark Streaming实战案例-WordCount

一、环境安装 [【大数据入门核心技术-Spark】（三）Spark 本地模式安装][-Spark_Spark] [【大数据入门核心技术-Spark】（四）Spar

妖狐艹你老母/ 2024年03月25日 20:28/ 0 赞/ 108 阅读

相关 spark案例——wordcount

local本地模式添加pom依赖 <properties> <scala.version>2.12.0</scala.version>

古城微笑少年丶/ 2023年10月06日 19:43/ 0 赞/ 95 阅读

相关 Scala-20：Spark实现WordCount案例

Scala-20：Spark实现WordCount案例一、案例分析对于一个文件，文件内容是 hello hello world hel

r囧r小猫/ 2023年10月04日 16:54/ 0 赞/ 45 阅读

相关 Spark-WordCount实现

数据 hello scala hello scala hello spark spark hadoop hadoop 具体步骤 ![在这

野性酷女/ 2023年02月18日 12:57/ 0 赞/ 75 阅读

相关 Spark Streaming快速入门系列(2) | wordcount案例

目录 wordcount 案例 wordcount 案例解析 wordcount 案例 1.需求使用 netcat 工具向 999

拼搏现实的明天。/ 2022年12月03日 13:19/ 0 赞/ 210 阅读

相关 Spark算子实现WordCount

1 map + reduceByKey sparkContext.textFile("hdfs://ifeng:9000/hdfsapi/wc.txt")

曾经终败给现在/ 2022年12月03日 05:17/ 0 赞/ 230 阅读

相关 Idea 使用Maven创建Spark WordCount 案例

文章出处 [http://blog.csdn.net/whzhaochao/article/details/72358215][http_blog.csdn.net_whzha

喜欢ヅ旅行/ 2022年06月16日 14:23/ 0 赞/ 220 阅读

相关 spark wordcount

访问本地数据在/usr/local/spark/mycode/创建一个文件 vi /usr/local/spark/mycode/word1.txt 输入一些单词，

浅浅的花香味﹌/ 2022年06月06日 07:22/ 0 赞/ 217 阅读

相关 Spark入门之WordCount

\[img\]http://dl2.iteye.com/upload/attachment/0111/4770/079b7965-40fb-318c-8c35-cd5d6aa0

Dear 丶/ 2022年04月12日 10:24/ 0 赞/ 544 阅读

相关 Spark的wordcount

private static void wordCount() { //设置这次任务的名字和设置本地跑spark程序 S

小鱼儿/ 2022年02月05日 13:21/ 0 赞/ 273 阅读