spark的aggregateByKey简单用法

喜欢ヅ旅行 2022-06-11 00:07 142阅读 0赞

问题：求key只出现一次的数据， 如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。

输入数据：

asdfgh	546346
    retr	4567
    asdfgh	7685678
    ghj	2345
    asd	234
    hadoop	435
    ghj	23454
    asdfgh	54675
    asdfgh	546759878
    asd	234
    asdfgh	5467598782

代码：

package scala
    
    import org.apache.spark.rdd.RDD
    import org.apache.spark.{SparkConf, SparkContext}
    
    import scala.collection.mutable
    import scala.collection.JavaConverters._
    
    object AaidTest {
      def main(args: Array[String]): Unit = {
        val conf=new SparkConf().setAppName("AaidTest").setMaster("local")
        val sc=new SparkContext(conf)
    
        sc.textFile("D://sparkmllibData/sparkml/mllibdata/arrregation.txt")
          .map(line=>{
            (line.split("\t")(0),line.split("\t")(1).toLong)
          }).aggregateByKey(0L)(seqOp,seqOp)
            .filter(line=> line._2!=-1L)
          .collect().foreach(println)
    
      }
    
      def seqOp(U : (Long), v : (Long)) : Long = {
        println("seqOp")
        println("U="+U)
        println("v="+v)
        var count:Int=0
        if(U!=0L){
          count+=1
        }
        if(v!=0L){
          count+=1
        }
        if(count>1){
          -1L
        }else{
          v
        }
      }
    }

输出结果：

seqOp
    U=0
    v=546346
    seqOp
    U=0
    v=4567
    seqOp
    U=546346
    v=7685678
    seqOp
    U=0
    v=2345
    seqOp
    U=0
    v=234
    seqOp
    U=0
    v=435
    seqOp
    U=2345
    v=23454
    seqOp
    U=1
    v=54675
    seqOp
    U=1
    v=546759878
    seqOp
    U=234
    v=234
    seqOp
    U=1
    v=5467598782

(hadoop,435)
    (retr,4567)

很明显，达到最后的要求了。

发表评论取消回复

表情：

评论列表（有 0 条评论，142人围观）

还没有评论，来说两句吧...

相关阅读

相关 spark groupByKey reduceByKey aggregateByKey 区别博客

有图，比较详细：[https://blog.csdn.net/sperospera/article/details/89164261][https_blog.csdn.net_

╰半夏微凉°/ 2023年01月13日 01:34/ 0 赞/ 145 阅读

相关 KVC的简单用法

// // KVCDemo.h // OC基础学习 // // Created by 麦子 on 15/6/2. //

叁歲伎倆/ 2022年08月05日 02:42/ 0 赞/ 168 阅读

相关 adb的简单用法

一：运行adb 1.直接运行在你的android—IDE中找到D:\\android\\adt-bundle-windows-x86\_64-20131030\\sdk\

向右看齐/ 2022年07月16日 04:23/ 0 赞/ 369 阅读

相关 PopupWindow的简单用法

首先创建弹出框的布局 layout\_popupwindow <?xml version="1.0" encoding="utf-8"?> <LinearL

客官°小女子只卖身不卖艺/ 2022年07月15日 10:44/ 0 赞/ 287 阅读

相关 spark的aggregateByKey简单用法

问题：求key只出现一次的数据，如果用groupByKey或reduceByKey很容易就做出来了，现在用aggregateByKey求解一下。输入数

喜欢ヅ旅行/ 2022年06月11日 00:07/ 0 赞/ 143 阅读

相关 spark中算子详解：aggregateByKey

[https://blog.csdn.net/jiaotongqu6470/article/details/78457966][https_blog.csdn.net_jiao

ゝ一世哀愁。/ 2022年03月30日 03:22/ 0 赞/ 415 阅读

相关 Spark中的checkpoint用法

怎么建立checkpoint 首先需要用sparkContext设置hdfs的checkpoint的目录(如果不设置使用checkpoint会抛出异常:throw new

阳光穿透心脏的1/2处/ 2022年03月22日 13:46/ 0 赞/ 301 阅读

相关 c# @ $ $@的简单用法

public void Test() { //1.字符串可直接换行 //特别注意:结果包含了隐藏

深碍√TFBOYSˉ_/ 2022年03月01日 18:50/ 0 赞/ 372 阅读

相关 Spark操作 aggregate、aggregateByKey 实例

1. aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函

向右看齐/ 2021年09月25日 01:12/ 0 赞/ 295 阅读

相关 Git的简单用法

远程建库 1. ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

迈不过友情╰/ 2021年07月24日 22:58/ 0 赞/ 443 阅读