ElasticSearch之mapping分词器选择

素颜马尾好姑娘i 2022-09-02 03:50 260阅读 0赞

前言  
市场上分词器，眼花缭乱，让你一脸懵逼。

Standard: 单字切分法，一个字切分成一个词。

CJKAnalyzer: 二元切分法， 把相邻的两个字, 作为一个词.

SmartChineseAnalyzer: 对中文支持较好, 但是扩展性差, 针对扩展词库、停用词均不好处理.

paoding\`: 庖丁解牛分词器, 没有持续更新, 只支持到lucene3.0。

mmseg4\`: 支持Lucene4.10, 且在github中有持续更新, 使用的是mmseg算法.

Whitespace分词器：去除空格，不支持中文，对生成的词汇单元不进行其他标准化处理。

language分词器：特定语言的分词器，不支持中文。

IK-analyzer: 最受欢迎的分词器。

···········································································

可以看到分词器非常多，其实我们只需要关注两个就可以了。

1、standard

2、ik分词器

大家常说ElasticSearch中内置的分词器standard，更确切的说是Lucene内置的，ES是Lucene提供支持的。

IK分词器  
IK分词器有两种分词模式：ik\_max\_word和ik\_smart模式。

ik\_max\_word：  
最细粒度的查询，分出的词条最多。

ik\_smart:  
最粗粒度的查询，大体切分一下，分出的词条比较少。

简单测试  
举个例子，我们对下面这句话进行分词，分别使用三种算法，大家先猜测一下结果

万里长城是中国的象征。

使用es内置standard分词算法：

使用ik\_max\_word分词算法：

使用ik\_smart分词算法：

话不多说，很明显的可以看到区别。

问题  
有一种说法是，创建索引时使用ik\_max\_word分词器，最大程度上进行分词，搜索时使用id\_smart分词器，保持准确度。

第二种说法是，创建索引使用的分词器和搜索时使用的分词器必须对应，保持一致，否则会导致搜索冲突。

到底哪种是对的呢？

我，小老犇，两个都不招惹，我说第三种说法，哈哈

首先，明确两个操作

1、创建索引时指定分词器，我们这个字段所有的内容都会被分词后存入分片中。

2、搜索时指定分词器，我们的关键字会被分词，然后进ES分片中进行匹配，倒排索引机制。

其次，一定要在创建mapping的时候指定分词器，不要使用默认的分词器。

这种操作的结果就是，你在查询的时候，不用指定分词器了，还是同样使用默认的分词器吧。使用其他分词器的话，结果就乱了。

最后，第一种方法想的挺美好的，似乎有那么点道理，但有可能会出问题，搜索出来的结果有问题，稳妥一点，按第二种方法来，创建mapping时指定分词器和查询事指定的分词器，保持一致。

这里有的人说了，我没有保持一致，搜索出来的结果照样没问题啊。  
有以下几种可能：  
1、你索引库的内容和全文检索的字段内容挺少的  
2、创建mapping时用的什么分词器  
3、查询时用了什么分词器，分词器组合有好几种，可能就碰巧了。

我也遇到过没有保持一致，但是搜索结果没问题的情况，但最好还是保持一致。

······················································································  
关于分词器的问题，可以一起讨论，有啥不一样的想法私信我或者评论区都可以。  
————————————————  
版权声明：本文为CSDN博主「小老犇」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/numbbe/article/details/109663565

发表评论取消回复

表情：

评论列表（有 0 条评论，260人围观）

还没有评论，来说两句吧...

相关阅读

相关 ElasticSearch 之中文分词器

4，中文分词器 4.1. smartCN（这个是参照别人的安装方法安装的有兴趣可以试一下）一个简单的中文或中英文混合文本的分词器这个插件提供 smartcn

超、凢脫俗/ 2023年06月27日 03:13/ 0 赞/ 130 阅读

相关 ElasticSearch之Tokenizer 分词器

java学习讨论群：725562382 Tokenizer Standard Tokenizer curl -X POST "192.168.0.120:920

快来打我*/ 2023年06月27日 03:13/ 0 赞/ 4 阅读

相关 ElasticSearch Mapping学习—Mapping中的分词器使用方式

analyzer 定义文本字段分词器，默认对索引和查询都是有效的。假设不使用任何分词器，创建索引并添加字段 PUT blog PUT bl

Myth丶恋晨/ 2022年12月23日 09:44/ 0 赞/ 396 阅读

相关 ElasticSearch Mapping学习—ElasticSearch分词器

内置的分词器 ES的内置分词器如下： <table> <thead> <tr> <th>分词器</th> <th>描述</th> </t

小咪咪/ 2022年12月23日 09:44/ 0 赞/ 289 阅读

相关 ElasticSearch IK分词器

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 1. 测试分词器在添加文档时会进行分词，索引中存

旧城等待，/ 2022年10月02日 06:00/ 0 赞/ 370 阅读

相关 ElasticSearch之mapping分词器选择

前言市场上分词器，眼花缭乱，让你一脸懵逼。 Standard: 单字切分法，一个字切分成一个词。 CJKAnalyzer: 二元切分法，把相邻的两个字, 作为一个词

素颜马尾好姑娘i/ 2022年09月02日 03:50/ 0 赞/ 261 阅读

相关 elasticsearch 分词器

一、分词器分词器就是把一段句子拆分成一个一个的单个的单词，同时对每个单词进行normalization（时态转换，单复数转换）。主要作用就是：切分词语，normali

川长思鸟来/ 2022年05月23日 11:52/ 0 赞/ 312 阅读

相关 Elasticsearch之分词器查询分词效果

0、引言 Elasticsearch之分词器中文的我们一般使用IK，如果没有指定分词器。默认使用的是standard分词。 IK分词能将中文分成词组： stan

短命女/ 2021年11月15日 13:16/ 0 赞/ 582 阅读

相关 ElasticSearch之ICU分词器

分词器分词器接受一个字符串作为输入，将这个字符串拆分成独立的词或语汇单元（token）（可能会丢弃一些标点符号等字符），然后输出一个语汇单元流（token s

﹏ヽ暗。殇╰゛Y/ 2021年10月18日 23:44/ 0 赞/ 1261 阅读

相关 Elasticsearch 分词器

无论是内置的分析器（analyzer），还是自定义的分析器（analyzer），都由三种构件块组成的：character filters ， tokenizers ， toke

旧城等待，/ 2021年10月16日 01:40/ 0 赞/ 521 阅读