Spark:调用sortByKey时，不能正常排序

秒速五厘米 2022-09-10 00:07 164阅读 0赞

#### wordcount文件的内容 ####

![在这里插入图片描述][f3106d8c4e6e4de79250623058de620c.png]

#### 最开始的部分代码如下 ####

val inputRdd:RDD[String] = sc.textFile("/sparkData/wordcount")
    
        val resultRdd = inputRdd.flatMap(x => x.split("\\s+"))
          .map(x=>(x, 1)).
          reduceByKey((tmp, item) => tmp + item)
    
        resultRdd.foreach(x => println(x))
    
        println("-"*10)
    
        val result = resultRdd.map( t => t.swap).sortByKey(ascending = true)
    
        result.foreach(x => println(x))

运行结果是，显然是没有排好顺序的，不是我们想要的结果  
![在这里插入图片描述][74b333f6594c4b398085e8524002d589.png]

#### 修改后的代码 ####

val result = resultRdd.map( t => t.swap).sortByKey(ascending = true,1)

![在这里插入图片描述][29adf26f9ab546aeb02d2f22733664a8.png]

#### 我参考的链接 ####

感谢大神  
https://www.cnblogs.com/yszd/p/12090589.html

[f3106d8c4e6e4de79250623058de620c.png]: /images/20220829/a31991a8881846d9b9ef356bf5e34eb2.png
[74b333f6594c4b398085e8524002d589.png]: /images/20220829/0d94537f1b6548a69f052e7ee0444bd1.png
[29adf26f9ab546aeb02d2f22733664a8.png]: /images/20220829/9ba37115b7924f70965e886ef13d284a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，164人围观）

还没有评论，来说两句吧...

相关阅读

相关 Dubbo服务调用，时好时坏，一会儿调用正常，一会儿调用不正常？

摘要：昨天上线个新版本的dubbo服务到预发布环境，今天来验证功能，发现，其中一个接口调用，1次正常，下一次就不正常，再刷新又正常了，这到底是什么问题呢，我们来分析下：一：

ゞ浴缸里的玫瑰/ 2024年02月18日 20:53/ 0 赞/ 11 阅读

相关判断特定网址能不能正常浏览

String host = "192.168.10.91"; // 目标主机IP地址 int port = 2333; // 目标主机端口号

比眉伴天荒/ 2023年10月15日 16:06/ 0 赞/ 40 阅读

相关 linux 环境编辑文件时乱码，不能正常编辑解决方案

我在编辑linux的文件时发现有乱码的现象，导致我不能正常编辑`/etc/profile`文件进行配置，因此对默认编码进行调整。 1. 查看当前编码 ech

刺骨的言语ヽ痛彻心扉/ 2022年09月10日 14:18/ 0 赞/ 211 阅读

相关 Spark:调用sortByKey时，不能正常排序

wordcount文件的内容 ![在这里插入图片描述][f3106d8c4e6e4de79250623058de620c.png] 最开始的部分代码如下

秒速五厘米/ 2022年09月10日 00:07/ 0 赞/ 165 阅读

相关 ADB不能正常使用（端口被占用）

公司的win7升级后发现adb不能正常使用，无限等待，不管什么方法都不管用，后来才发现是adb的5037端口被占用导致，这个有两种方法： 1.禁用占用端口的服务，哪个是log

电玩女神/ 2022年08月06日 06:16/ 0 赞/ 233 阅读

相关解决mysql排序字段的数据为中文时不能正常显示结果的问题

问题： order by 排序时对应的字段为中文则需要转换编码解决方法： convert(B.C\_GZDW using gbk) ASC

灰太狼/ 2022年07月16日 03:41/ 0 赞/ 121 阅读

相关 Spark groupByKey，reduceByKey，sortByKey算子的区别

Spark groupByKey，reduceByKey，sortByKey算子的区别在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是

Dear 丶/ 2022年05月30日 06:21/ 0 赞/ 301 阅读

相关 Redis不能正常启动解决方案

执行redis-cli报错不能连接，报错内容如下： $ redis-cli Could not connect to Redis at 127.0.0.1:6379:

雨点打透心脏的1/2处/ 2022年03月02日 16:46/ 0 赞/ 481 阅读

相关安装TortoiseGit 状态图标不能正常显示

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] [http://www.cnblogs.com/Jing

待我称王封你为后i/ 2022年01月13日 09:07/ 0 赞/ 407 阅读

相关 Idea2016 不能正常编译输出

Idea2016 开发中遇到的找不到main方法的问题错误提示： Exception in thread “main”java.lang.ClassNotFound...

朱雀/ 2020年10月31日 18:52/ 0 赞/ 861 阅读