scala wordcount实践

拼搏现实的明天。 2022-04-18 03:07 260阅读 0赞

1.导入io包

scala> import scala.io.Source  
import scala.io.Source

2.导入数据

scala> val lines = Source.fromFile("/home/dongdong/mapreduce/mr\_wc/The\_man\_of\_property.txt").getLine().toList

3.查看数据

![20181107173715274.png][]

聚合：

scala> lines.flatMap(\_.split(" ")).map((\_,1)).groupBy(\_.\_1).map(x=>(x.\_1,x.\_2.map(\_.\_2).sum))

或者scala> lines.flatMap(\_.split(" ")).map((\_,1)).groupBy(\_.\_1).map(x=>(x.\_1,x.\_2.map(\_.\_2).reduce(\_+\_)))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1][]

![20181107180243334.png][]

[20181107173715274.png]: /images/20220418/3df0df10241f4a7fb1229ac230e769e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70]: /images/20220418/84a686ac417747debfbcb2d4ab10989c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70 1]: /images/20220418/e9b72d1b563a45e0b99a221ce7587ec9.png
[20181107180243334.png]: /images/20220418/cc4110fb081c49fc991df04de30413c0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，260人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scala-18：简单的WordCount案例

Scala-18：简单的WordCount案例一、案例分析对于传过来得一个数据，比如一个列表 List( "hello",

落日映苍穹つ/ 2023年10月04日 16:54/ 0 赞/ 44 阅读

相关 Scala中读取本地文件wordCount

import java.io.File import scala.collection.mutable.Map val textFilePath ="D

男娘i/ 2023年01月19日 03:08/ 0 赞/ 164 阅读

相关 Scala 入门 WordCount

此代码仅供学习参考，若有理解错误的地方请及时联系博主，谢谢。 package FileIO import scala.io.Source; impor

忘是亡心i/ 2022年06月10日 04:26/ 0 赞/ 262 阅读

相关第一个spark scala程序——wordcount

背景：C++的第一个程序是helloworld，但对于spark scala，输出helloworld并没有什么意义，体现不了spark的精髓，所以wordcount才是王道…

末蓝、/ 2022年06月09日 13:35/ 0 赞/ 268 阅读

相关 Scala WordCount

用scala实现wordcount例子为了简便，直接对字符串进行操作，没有读取文件。大致思路都在代码里了参考了这篇博客的思路，[传送门][Link 1]

╰半橙微兮°/ 2022年06月07日 03:07/ 0 赞/ 234 阅读

相关 Java,Python,Scala比较（三）wordcount

　　众所周知，wordcount在大数据中的地位相当于helloworld在各种编程语言中的地位。本文并不分析wordcount的计算方法，而是直接给出代码，目的是为了比较Sp

向右看齐/ 2022年06月05日 04:59/ 0 赞/ 227 阅读

相关 scala wordcount实践

1.导入io包 scala> import scala.io.Source import scala.io.Source 2.导入数据 scala> val line

拼搏现实的明天。/ 2022年04月18日 03:07/ 0 赞/ 261 阅读

相关 Scala版本的WordCount

\[size=large\]在处理搜索的同义词数据时遇到一个问题，本来是由数据人员人工整理好的数据，发我直接使用，后来发现发我的数据里面总是存在点问题，也难怪了 2000行

怼烎@/ 2022年04月12日 10:01/ 0 赞/ 216 阅读

相关 scala和spark实践wordcount

1.scala实现：数据The\_Man\_of\_Property.txt： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

桃扇骨/ 2022年03月14日 14:40/ 0 赞/ 293 阅读

相关 flink简单应用: scala编写wordcount

在ida中创建maven项目，配置scala环境，调用flink-streaming-scala的api 1, flink: DataStream applications

川长思鸟来/ 2022年03月10日 18:09/ 0 赞/ 254 阅读