PySpark 统计词频并返回排名TOP N

清疚 2023-10-11 12:25 14阅读 0赞

输入文本（list格式）：

what do you do
    how do you do
    how do you do
    how are you

期望实现功能：统计文本中的词频，返回频次最高的TOP N。

输出结果（list格式）：

do 6
    you 4
    how 3
    are 1
    what 1

Pyspark 的实现代码：

from operator import add
    
    from pyspark import SparkContext
    
    
    def WordCount():
        sc = SparkContext(appName="WordCount")
        data = sc.parallelize(words)
        result = data.flatMap(lambda x: x.split(" ")) \
            .map(lambda x: (x, 1)). \
            reduceByKey(add). \
            sortBy(lambda x: x[1], False).take(top)
        for k, v in result:
            print(k, v)
    
    
    if __name__ == '__main__':
        words = ["what do you do", "how do you do", "how do you do", "how are you"]
        top = 5
        WordCount()

--------------------

后续：

发现有两个小缺点需要改一下，因此对代码做了修改。

1. 统计所有词频。而不仅仅是统计TOP N的词频。

2. 返回的结果保存为DataFrame。而不是用list。

PySpark 统计所有词频并排序返回 DataFrame：[https://blog.csdn.net/sinat\_26811377/article/details/101530392][https_blog.csdn.net_sinat_26811377_article_details_101530392]

[https_blog.csdn.net_sinat_26811377_article_details_101530392]: https://blog.csdn.net/sinat_26811377/article/details/101530392

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 97 阅读

相关 hadoop 词频统计

1)先写words文件 ![20180425155914434][]![Image 1][]![Image 1][] 2)再将words上传到hdfs中，可以直接运行

悠悠/ 2024年02月18日 19:51/ 0 赞/ 28 阅读

相关 PySpark 统计词频并返回排名TOP N

输入文本（list格式）： what do you do how do you do how do you do how are you

清疚/ 2023年10月11日 12:25/ 0 赞/ 15 阅读

相关 PySpark 统计词频并返回排名TOP N

输入：txt文本文件输出结果： [('技术', 48), ('百度', 45), ('模型', 38), ('语义', 31),

超、凢脫俗/ 2023年08月17日 16:47/ 0 赞/ 46 阅读

相关 PySpark 统计所有词频并排序返回 DataFrame

上一篇文章已经实现了PySpark 统计词频并返回排名TOP N：[https://blog.csdn.net/sinat\_26811377/article/details/

心已赠人/ 2023年08月17日 15:49/ 0 赞/ 110 阅读

相关词频统计之《三国演义》

描述：‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪

淩亂°似流年/ 2022年11月16日 01:44/ 0 赞/ 247 阅读

相关 jieba库词频统计_运用jieba库进行词频统计

Python第三方库jieba(中文分词) 一、概述 jieba是优秀的中文分词第三方库 \- 中文文本需要通过分词获得单个的词语 \- jieba是优秀的中文分词第三

古城微笑少年丶/ 2022年11月05日 00:45/ 0 赞/ 212 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 403 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 331 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 279 阅读