hanlp for elasticsearch（基于hanlp的es分词插件）

傷城~ 2022-05-21 04:24 259阅读 0赞

摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词

elasticsearch-analysis-hanlp插件地址：[https://github.com/pengcong90/elasticsearch-analysis-hanlp][https_github.com_pengcong90_elasticsearch-analysis-hanlp]

Elasticsearch

默认分词   
![默认分词器][SouthEast]

输出：   
![输出：][SouthEast 1]

IK分词   
![IK][]

输出：   
![输出：][SouthEast 2]

hanlp分词   
![hanlp][]

输出：   
![输出：][SouthEast 3]

ik分词没有根据句子的含义来分词，hanlp能根据语义正确的切分出词

安装步骤：   
1、进入[https://github.com/pengcong90/elasticsearch-analysis-hanlp][https_github.com_pengcong90_elasticsearch-analysis-hanlp]，下载插件并解压到es的plugins目录下，修改analysis-hanlp目录下的hanlp.properties文件，修改root的属性，值为analysis－hanlp下的data   
目录的地址

2、修改es config目录下的jvm.options文件，最后一行添加   
\-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

重启es

GET /\_analyze?analyzer=hanlp-index&pretty=true   
\{   
“text”:”张柏芝士蛋糕店”   
\}   
测试是否安装成功

analyzer有hanlp-index（索引模式）和hanlp-smart（智能模式）

自定义词典   
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件   
格式遵从\[单词\] \[词性A\] \[A的频次\]   
修改完后删除同目录下的CustomDictionary.txt.bin文件

重启es服务

来源：[https://blog.csdn.net/pengcong90/article/details/76843760][https_blog.csdn.net_pengcong90_article_details_76843760]

[https_github.com_pengcong90_elasticsearch-analysis-hanlp]: https://github.com/pengcong90/elasticsearch-analysis-hanlp
[SouthEast]: /images/20220521/2be5796d1eb14db3a2062aec294452ca.png
[SouthEast 1]: /images/20220521/1b7015fed597401d92bcbf856d44d77f.png
[IK]: /images/20220521/bb608fc253754625ac011be446541fa6.png
[SouthEast 2]: /images/20220521/3a5ddd4e798647d5bed0c2a19ff5b0a2.png
[hanlp]: /images/20220521/d2f5c11969de438cb5364426328e9f61.png
[SouthEast 3]: /images/20220521/0ac8f34b80b745b2b0893488c132944c.png
[https_blog.csdn.net_pengcong90_article_details_76843760]: https://blog.csdn.net/pengcong90/article/details/76843760