HanLP汉语言分析框架

桃扇骨 2022-04-18 04:19 165阅读 0赞

HanLP（Han Language Processing）是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。

HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

环境搭建

1.创建java项目，导入HanLP必要的包  
![image][]

2.把对应的配置文件放置在src下

![image][image 1]

3.修改hanlp.properties配置文件，使其指向data（data中包含词典和模型）的上级路径,修改如下，

![image][image 2]

代码运行

1.第一个Demo

System.out.println(HanLP.segment("你好，欢迎使用HanLP汉语处理包！"));  
//标准分词  
List standardList = StandardTokenizer.segment("商品和服务");  
System.out.println(standardList);  
结果：

![image][image 3]

注意：HanLP.segment其实是对StandardTokenizer.segment的包装。

2.索引分词

List indexList = IndexTokenizer.segment("主副食品");  
for (Term term : indexList)  
\{  
System.out.println(term + " \[" + term.offset + ":" + (term.offset + term.word.length()) + "\]");  
\}  
结果：  
![image][image 4]

注意：索引分词IndexTokenizer是面向搜索引擎的分词器，能够对长词全切分，另外通过term.offset可以获取单词在文本中的偏移量。

[原文链接][Link 1]

[image]: /images/20220418/8bc247265b0c470b9e34e67276154085.png
[image 1]: /images/20220418/0e17b1ce05a04dfa9d75ea218759e0f3.png
[image 2]: /images/20220418/e421d840e0884cf5b7cd7fb40b7f234e.png
[image 3]: /images/20220418/7d761167a29649619c2f0b16be8df75f.png
[image 4]: /images/20220418/b6e96636d2334b27a7e8cf3f61d31852.png
[Link 1]: http://click.aliyun.com/m/1000022804/

发表评论取消回复

表情：

评论列表（有 0 条评论，165人围观）

还没有评论，来说两句吧...

相关阅读

相关 hanlp 训练模型_分词工具Hanlp基于感知机的中文分词框架

![90d860e6bb7d3969f7cab58aafe30d5b.png][] 结构化感知机标注框架是一套利用感知机做序列标注任务，并且应用到中文分词、词性标注与命名实体

布满荆棘的人生/ 2023年01月02日 10:30/ 0 赞/ 206 阅读

相关 Hanlp之文本分类

1、语料库格式分类语料的根目录.目录必须满足如下结构:<br> 根目录<br>

柔情只为你懂/ 2022年12月15日 12:42/ 0 赞/ 286 阅读

相关 solr 装载 hanlp

转载自 http://www.hankcs.com/nlp/segment/full-text-retrieval-solr-integrated-hanlp-chinese

桃扇骨/ 2022年06月12日 06:44/ 0 赞/ 180 阅读

相关 hanlp for elasticsearch（基于hanlp的es分词插件）

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下

傷城~/ 2022年05月21日 04:24/ 0 赞/ 260 阅读

相关 HanLP汉语言分析框架

　HanLP（Han Language Processing）是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。 HanLP具备功能完善、性

桃扇骨/ 2022年04月18日 04:19/ 0 赞/ 166 阅读

相关 HanLP中人名识别分析

在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue: 名字识别的问题 \387 机构名识别错误关于

矫情吗；*/ 2022年04月18日 04:18/ 0 赞/ 223 阅读

相关【HanLP】eclipse/myeclipse下配置HanLP

文章目录 eclipse下配置HanPL 一、说明二、资源获取 1、hanlp jar

女爷i/ 2022年04月18日 00:10/ 0 赞/ 261 阅读

相关 HanLP中人名识别分析详解

在看源码之前，先看几遍论文《基于角色标注的中国人名自动识别研究》关于命名识别的一些问题，可参考下列一些issue: lÂ ·名字识别的问题 \387 lÂ ·机构名识别

男娘i/ 2022年04月11日 12:47/ 0 赞/ 255 阅读

相关汉语言处理工具pyhanlp的简繁转换

繁简转换 HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这

怼烎@/ 2022年02月14日 13:29/ 0 赞/ 283 阅读

相关 HanLP Android 示例

![图片1.png][1.png] portable版 portable版零配置，仅提供中文分词、简繁拼音、同义词等功能。只需在build.gradle中加入依赖：

今天药忘吃喽~/ 2022年01月12日 23:13/ 0 赞/ 279 阅读