如何在java中去除中文文本的停用词

小鱼儿 2022-01-12 23:13 335阅读 0赞

**1.  整体思路**

第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。

第二步：使用停用词表，去除分好的词中的停用词。

**2.  中文文本分词环境配置**

使用的HanLP-汉语言处理包进行中文文本分词。

·HanLP-汉语言处理包下载，可以去github上下载

·HanLP 的环境配置有两种方式：方式一、Maven；方式二、下载jar、data、hanlp.properties。

·官方环境配置步骤也可以在github上查询到。

·环境配置好后，java使用HanLP进行中文分词文档如下：hanlp.linrunsoft.com/doc.html

**3.  下载停用词表**

停用词表可以去百度或者其他搜索引擎检索一份，很容易就找到！

**4.  去除停用词工具类**

使用这个工具类的之前，请先完成中文文本分词环境配置，并测试一下。停用词 .txt 文件路径请修改为自己的本地路径。

![图1.jpg][1.jpg]

**5.  工具类测试**

**5.1  测试代码**

public class test \{

public static void main(String args\[\]) \{

try \{

System.out.println(FormatUtil.RemovalOfStopWords("床前明月光，疑是地上霜。举头望明月，低头思故乡。"));

\} catch (IOException e) \{

e.printStackTrace();

\}

\}

**5.2  测试结果**

![图2.jpg][2.jpg]

转载于:https://blog.51cto.com/13993767/2386445

[1.jpg]: https://s1.51cto.com/images/20190429/1556505930267288.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[2.jpg]: https://s1.51cto.com/images/20190429/1556505942892289.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=

发表评论取消回复

表情：

评论列表（有 0 条评论，335人围观）

还没有评论，来说两句吧...

相关阅读

相关 IK分词器扩展词停用词

IK Analyzer 扩展配置

叁歲伎倆/ 2024年05月05日 07:48/ 0 赞/ 84 阅读

相关 ElasticSearch（七）【扩展词、停用词配置】

七、扩展词、停用词配置 -------------------- 上一篇文章《[ElasticSearch - 分词器][ElasticSearch -]》 IK支持

╰半橙微兮°/ 2024年04月06日 10:34/ 0 赞/ 81 阅读

相关 NLP-文本处理：词的过滤（Words Filtering）【停用词、低频词】

类似于特征筛选的过程，如果不过滤掉它们，很可能对我们的语言模型产生负面的影响。停用词，对于理解文章没有太大意义的词，比如"the"、“an”、“his”、“their

柔情只为你懂/ 2023年10月04日 09:32/ 0 赞/ 39 阅读

相关汇集四大主流停词的中文停词库-7352个停词

停用词是一些在自然语言处理中被过滤掉的常见词语，如“的”、“是”、“在”等。它们在文本中出现频率非常高，但通常不包含特定含义，因此被视为噪声。以下是中国网上最主流的4个中文

约定不等于承诺〃/ 2023年09月30日 22:26/ 0 赞/ 15 阅读

相关 Python 中文分词并去除停用词

import jieba 创建停用词list def stopwordslist(filepath): st

偏执的太偏执、/ 2023年08月17日 16:46/ 0 赞/ 113 阅读

相关在Django中如何去除HTML文本字符串中的HTML标签

1、在Python中去除HTML标签： from django.utils.html import strip_tags desc = s

迷南。/ 2023年02月19日 12:26/ 0 赞/ 30 阅读

相关 jieba分词，去除停用词并存入txt文本

代码如下，[停用词获取][Link 1] 密码：zpso -- coding: utf-8 -- import jieba import jie

- 日理万妓/ 2022年05月15日 06:54/ 0 赞/ 354 阅读

相关 HanLP无法动态加载停用词，无法重载停用词的自定义处理

在使用HanLP框架的过程中，发现其内置的CoreStopWordDictionary类只有删除、添加方法，没有动态的重载。而项目的需求确实可以动态加载，用他内置的方法去全删掉

╰+哭是因爲堅強的太久メ/ 2022年04月10日 03:14/ 0 赞/ 477 阅读

相关如何在java中去除中文文本的停用词

1. 整体思路第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。第二步：使用停用词表，去除分好的词中的停用词。 2. 中文文

小鱼儿/ 2022年01月12日 23:13/ 0 赞/ 336 阅读

相关 jieba分词和去停用词

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

心已赠人/ 2021年09月22日 08:54/ 0 赞/ 543 阅读