统计特定文件中的词频

矫情吗；* 2022-04-16 05:48 203阅读 0赞

**分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangjunshow]**

**也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！**

**查找文件中使用的单词的频率是一件很有意思的事情，下面，我们利用 关联数组，awk，sed，grep 等不同的方式来解决问题。**

**首先，我们需要一个测试用的文本，保存名为 word.txt**

**内容如下：**

Word usedthis  countingthis

**接下来需要编写Shell脚本程序，如下所示：**

#!/bin/bash#Name: word_freq.sh#Description: Find out frequency of words in a fileif [ $# -ne 1 ];then echo "Usage: $0 filename"; exit -1fifilename=$1egrep -o "\b[[:alpha:]]+\b" $filename | \awk '{ count[$0]++ } END{ printf("%-14s%s\n","Word","Count") ; \ for(ind in count) { printf("%-14s%d\n",ind,count[ind]); } }'

**工作原理介绍：**

**1.egrep -o "\\b\[\[:alpha:\]\]+\\b" $filename 用来只输出单词，用 -o 选项打印出由换行符分割的匹配字符序列，这样我们就可以在每行中列出一个单词**

**2.\\b 是单词边界标记符。\[:alpha:\] 是表示字母的字符类**

**3.awk命令用来避免对每一个单词进行迭代**

**下面给出运行的截图：**

![Center][]

**关于awk命令请参考博主的其他博客。**

#### 给我老师的人工智能教程打call！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangjunshow] ####

![这里写图片描述][SouthEast]

[http_blog.csdn.net_jiangjunshow]: https://blog.csdn.net/jiangjunshow/article/details/77338485
[Center]: /images/20220416/2ba047207dac45dcba5684bed03d867c.png
[SouthEast]: /images/20220416/b04a881a0eee4cff8b2a48a4a0464152.png

发表评论取消回复

表情：

评论列表（有 0 条评论，203人围观）

还没有评论，来说两句吧...

相关阅读

相关 MapReduce - 词频统计

统计一个文本的词频 package Test01; import org.apache.hadoop.conf.Configuration;...

布满荆棘的人生/ 2024年04月17日 23:15/ 0 赞/ 97 阅读

相关 hadoop 词频统计

1)先写words文件 ![20180425155914434][]![Image 1][]![Image 1][] 2)再将words上传到hdfs中，可以直接运行

悠悠/ 2024年02月18日 19:51/ 0 赞/ 26 阅读

相关词频统计之《三国演义》

描述：‪‬‪‬‪‬‪‬‪‬‮‬‫‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‫‬‪‬‪‬‪

淩亂°似流年/ 2022年11月16日 01:44/ 0 赞/ 245 阅读

相关 jieba库词频统计_运用jieba库进行词频统计

Python第三方库jieba(中文分词) 一、概述 jieba是优秀的中文分词第三方库 \- 中文文本需要通过分词获得单个的词语 \- jieba是优秀的中文分词第三

古城微笑少年丶/ 2022年11月05日 00:45/ 0 赞/ 212 阅读

相关 MapReduce实战-词频统计、文件合并排序

文章目录环境搭建词频统计输入源码输出合并输入源码输出

r囧r小猫/ 2022年10月21日 03:49/ 0 赞/ 175 阅读

相关统计特定文件中的词频

分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangju

矫情吗；*/ 2022年04月16日 05:48/ 0 赞/ 204 阅读

相关中文词频统计

中文词频统计 -------------------- 这个作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16

小鱼儿/ 2022年01月12日 13:23/ 0 赞/ 402 阅读

相关中文词频统计

本次作业的要求来自于：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnbl

浅浅的花香味﹌/ 2021年12月20日 20:39/ 0 赞/ 330 阅读

相关中文词频统计

作业要求来自： [https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773][https_edu.cnblogs

柔光的暖阳◎/ 2021年12月17日 08:37/ 0 赞/ 279 阅读

相关文件方式实现完整的英文词频统计实例

news='''Geng Jiasheng, 54, a national master technician in the manufacturing industry, i

女爷i/ 2021年09月30日 07:12/ 0 赞/ 321 阅读