201671030128+词频统计软件项目报告

深藏阁楼爱情的钟 2021-12-20 03:17 210阅读 0赞

#### 一.需求分析 ####

根据[实验二 软件工程个人项目][Link 1]的要求本次软件项目的需求有以下几点：  
1.程序可读入任意英文文本文件，该文件中英文词数大于等于1个，程序需要很壮健，能读取容纳英文原版《哈利波特》10万词以上的文章。  
2.指定单词词频统计功能：用户可输入从该文本中想要查找词频的一个或任意多个英文单词，运行程序的统计功能可显示对应单词在文本中出现的次数和柱状图。  
3.高频词统计功能：用户从键盘输入高频词输出的个数k，运行程序统计功能，可按文本中词频数降序显示前k个单词的词频及单词。  
4.统计该文本所有单词数量及词频数，并能将单词及词频数按字典顺序输出到文件result.txt。

#### 二.功能设计 ####

1.对于需求1、需求4需要有读入文本数据、向文本输出数据的功能。  
2.对于需求3和需求4需要有排序的功能  
3.整个项目要求有对词频进行统计的功能

#### 三.设计实现 ####

1.本次项目有两个类：  
（1）main.java主要实现文本读入和功能选择的功能，根据用户输入的选择调用function.java中相应的功能函数。  
（2）function.java实现排序（sort函数），查找单词词频显示柱状图（find函数），输出前n个高频词（print函数），单词及词频数按字典顺序输出到文件result.txt（Sort函数）四个主要功能。  
2.数据结构：  
本次项目采用TreeMap存储从文本读入的数据，用LinkedList进行词频排序。  
3.流程图：  
本项目总的流程图为：  
![1616083-20190315131101577-1170403596.jpg][]

#### 四.测试运行 ####

1.显示单词词频和柱状图  
![1616083-20190315134346707-1380191270.jpg][]

2.输出前K个高频词  
![1616083-20190315134359928-1083161143.jpg][]

3.向result.txt写入单词和词频  
![1616083-20190315134417613-357786946.jpg][]

![1616083-20190315134430043-769529626.jpg][]

#### 五.主要代码 ####

1.文件读入并统计词频

// 读取要处理的文件
           BufferedReader b = new BufferedReader(new FileReader("src/HarryPotter.txt"));
           //<单词:词频>
            Map<String, Integer> map = new TreeMap<String, Integer>();
                String value= b.readLine();
                while (value!= null) {
                    //处理标点符号
                    String[] words = value.split("[【】、.。,\"!--;:?\'\\] ]"); 
                    for (int i = 0; i < words.length; i++) {
                        //将大写字母转换为小写字母
                          String key = words[i].toLowerCase();
                            if (key.length() > 0) {
                                if (!map.containsKey(key)) {
                                    map.put(key, 1);
                                    } 
                                else { 
                                    int k = map.get(key)+1;// 如果不是第一次出现，就把k值++
                                    map.put(key, k);
                                    }
                                }
                            } 
                    value = b.readLine();
                }

2.按词频或字母排序

Set<Entry<String,Integer>> m= map.entrySet();   
           LinkedList<Entry<String, Integer>> List = new LinkedList<Entry<String,Integer>>(m);
         //按值排序
           if(a==2) {
           Collections.sort(List, new Comparator<Entry<String,Integer>>() {     
               public int compare(Entry<String, Integer> a,  Entry<String, Integer> b) {  
                   return b.getValue().compareTo(a.getValue());  
              }     
           });  
          //按键排序
           else if(a==3) {
               Collections.sort(List, new Comparator<Entry<String,Integer>>() {     
                   public int compare(Entry<String, Integer> a,  Entry<String, Integer> b) {  
                       return a.getKey().compareTo(b.getKey());  
                  }     
               });  
           }
         //排序后存入Map中
           for(Entry<String,Integer> entry: List) {  
               Map.put(entry.getKey(), entry.getValue());  
           }  
       }

3.向文件写入单词词频

//创建文件
            File file = new File("result.txt");
            //向文件写入
            FileWriter f = new FileWriter(file.getAbsoluteFile());
            for(Entry<String,Integer> w: Map.entrySet()) {
                f.write(w.getKey() + "/" + w.getValue()+"     ");
            }
            f.close();
            System.out.println("结束！");

#### 六.总结 ####

1.本次项目中各功能在function类中，用函数实现各个功能，通过用户输值调用相应的功能，以此来实现模块化。  
2.在刚开始设计读入文件数据的时候，打算采用二维数组存放单词，相应的一维数组存放个数，但发现数组太大，而且在进行排序的时候不方便因此采用了<键：值>的映射存放数据。  
3.在进行柱状图绘制时，由于除以500后的小数无法表示，只能表示出大概的趋势。

#### 七.PSP ####

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">任务内容</th> 
   <th style="text-align:left;">计划完成时间（min）</th> 
   <th style="text-align:left;">实际完成时间（min）</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;">计划</td> 
   <td style="text-align:left;">5</td> 
   <td style="text-align:left;">3</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">规划工作步骤</td> 
   <td style="text-align:left;">10</td> 
   <td style="text-align:left;">7</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">开发</td> 
   <td style="text-align:left;">173</td> 
   <td style="text-align:left;">202</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">需求分析</td> 
   <td style="text-align:left;">10</td> 
   <td style="text-align:left;">15</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">生成文档</td> 
   <td style="text-align:left;">5</td> 
   <td style="text-align:left;">10</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">设计复审</td> 
   <td style="text-align:left;">3</td> 
   <td style="text-align:left;">2</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">代码规范</td> 
   <td style="text-align:left;">20</td> 
   <td style="text-align:left;">15</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">具体编码</td> 
   <td style="text-align:left;">100</td> 
   <td style="text-align:left;">120</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">代码复审</td> 
   <td style="text-align:left;">10</td> 
   <td style="text-align:left;">5</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">测试</td> 
   <td style="text-align:left;">25</td> 
   <td style="text-align:left;">40</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">报告</td> 
   <td style="text-align:left;">15</td> 
   <td style="text-align:left;">12</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">测试报告</td> 
   <td style="text-align:left;">5</td> 
   <td style="text-align:left;">7</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">计算报告量</td> 
   <td style="text-align:left;">5</td> 
   <td style="text-align:left;">2</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">事后总结</td> 
   <td style="text-align:left;">5</td> 
   <td style="text-align:left;">3</td> 
  </tr> 
 </tbody> 
</table>

从表中可以看出在编码阶段时间较多且和自己估计的时间差距较大，主要是在进行数据结构的选择上错误，浪费大量时间进行修改，并且由于长时间没有使用Java，所有有些生疏，在测试阶段时间也比较长，自己开始的逻辑上有些混乱导致结果不正确显示，一步步的调试最终实现了相应功能。  
点击[源码][Link 2]可查看项目源代码

转载于:https://www.cnblogs.com/zhoulin52/p/10535111.html

[Link 1]: https://www.cnblogs.com/nwnu-daizh/p/10487329.html
[1616083-20190315131101577-1170403596.jpg]: /images/20211220/10be7c48b03e401bb0efd888f3500dc5.png
[1616083-20190315134346707-1380191270.jpg]: https://img2018.cnblogs.com/blog/1616083/201903/1616083-20190315134346707-1380191270.jpg
[1616083-20190315134359928-1083161143.jpg]: https://img2018.cnblogs.com/blog/1616083/201903/1616083-20190315134359928-1083161143.jpg
[1616083-20190315134417613-357786946.jpg]: https://img2018.cnblogs.com/blog/1616083/201903/1616083-20190315134417613-357786946.jpg
[1616083-20190315134430043-769529626.jpg]: https://img2018.cnblogs.com/blog/1616083/201903/1616083-20190315134430043-769529626.jpg
[Link 2]: https://github.com/zhoulinmu/zhoulin