（三）elasticsearch之分词介绍

谁践踏了优雅 2023-06-07 12:23 83阅读 0赞

# 一、介绍 #

**1、分词是指将文本转换成一系列单词（term or token）的过程，也可以叫做文本分析，在es里面称为 analysis。**

**2、分词会在如下2个时间使用：**

*  创建或更新文档时，会对相应的文档进行分词处理
 *  查询时，会对查询语句进行分词

**3、索引时分词（创建或更新文档）是通过配置 mapping 中每个字段的 analyzer 属性实现的。不指定分词时，默认使用 standard。如：**

put testindex
    { 
        "mappings": { 
            "doc": { 
                "porperties": { 
                    "name": { 
                        "type": "text",
                        "analyzer": "whitespace"  // 指定分词器
                    }
                }
            }
        }
    }

**4、查询时分词**

*  查询的时候指定分词器，如下：

POST testindex
    { 
        "query": { 
            "match": { 
                "name": { 
                    "query": "hello",
                    "analyzer": "standard"
                }
            }
        }
    }

*  通过mapping 设置 search\_analyzer 实现指定分词器，如下：

put testindex
    { 
        "mappings": { 
            "doc": { 
                "porperties": { 
                    "name": { 
                        "type": "text",
                        "analyzer": "whitespace",  // 指定索引时分词器
                        "search_analyzer": "standard"   // 指定查询时分词器
                    }
                }
            }
        }
    }

**5、一些注意**

*  查询时分词和索引时分词通常需要保持一致，否则查询时会有其他情况产生
 *  明确字段是否需要分词，不需要分词的字段将 type 设置为 keyword，可以节省空间和提高写性能
 *  使用 \_anzlyzer 查看文档的具体分词结果

# 二、分词器 #

分词器是es 中专门处理分词的组件，英文是 analyzer，它的组成如下：

*  character filters：针对原始文本进行处理，比如去除 html 特殊标记符
 *  tokenizer：将原始文本按照一定规则切分为单词，比如按空格切分
 *  token filters：针对tokenizer 处理的单词进行进一步加工，比如转小写、删除或新增等处理
 *  三个组成部分需要按照严格的先后顺序：character filters —> tokenizer —> token filters

# 三、analyze api #

1、es 提供了 一个测试分词的api 接口，方便验证分词效果，endpoint 是 \_analyze

*  可以直接指定 analyzer 进行测试

举例：

POST _analyze
    { 
        "analyzer": "standard",   // 指定分词器， standard 是默认分词器
        "text": "hello world"
    }

*  可以直接指定索引中的字段进行测试

举例：

POST testindex/_analyze
    { 
        "field": "username",  
        "text": "hello world"
    }

*  可以自定义分词器进行测试，api如下：

POST _analyze
    { 
        "tokenizer": "standard",  
        "filter": [
            "lowercase"          // 转小写
        ],
        "text": "hello world"
    }

# 四、预定义的分词器 #

## 1、standard ##

*  默认分词器
 *  其组成如图所示，特性为：
 *   *  按词切分，支持多语言
     *  小写处理  
        ![在这里插入图片描述][20191015114214935.png]

## 2、simple ##

其组成如图，特性为：

*  按照**非字母**切分
 *  小写处理  
    ![在这里插入图片描述][20191015114232586.png]

## 3、whitespace ##

其组成如图，特性为：

*  按照空格切分  
    ![在这里插入图片描述][20191015114253310.png]

## 4、stop ##

*  stop word 指语气助词等修饰性的词语，比如 the、an、的、这 等等
 *  其组成如图，特性为：
 *   *  相比 simple analyzer 多了 stop word 处理  
        ![在这里插入图片描述][20191015114307165.png]

## 5、keyword ##

其组成如图，特性为：

*  不分词，直接将输入作为一个完整单词输出  
    ![在这里插入图片描述][20191015114318955.png]

## 6、pattern ##

其组成如图，特性为：

*  通过正则表达式自定义分隔符
 *  默认是 \\W+，即非字词的符号作为分隔符  
    ![在这里插入图片描述][20191015114333420.png]

# 五、中文分词 #

**IK**

*  实现中英文单词的切分，支持ik\_smart、ik\_max word模式
 *  可自定义词库，支持热更新分词词典

**jieba**

*  python 中最流行的粉分词系统，支持分词和词性标注
 *  支持繁体分词、自定义词典、并行分词等

**Hanlp、THULAC**

# 六、自定义分词 #

*  当自带的分词无法满足需求时，可以自定义分词器。
 *  通过自定义分词器的3个组成部分：character filters、tokenizer 和 token filters实现。

## 1、character filters ##

*  在 tokenizer 之前对原始文本进行处理，比如增加、删除或替换字符等
 *  自带的如下：
 *   *  HTML Strip 去除html 标签和转换 html实体
     *  Mapping 进行字符替换操作
     *  Pattern Replace 进行正则匹配替换
 *  会影响后续 tokenizer 解析的 position 和 offset 信息

POST _analyze
    { 
        "char_filter": [
            "html_strip"
        ],
        "text": "<p>so <b>happy</b></p>"
    }

## 2、tokenizer ##

*  将原始文本按照一定规则切分为单词
 *  自带的如下：
 *   *  standard 按照单词进行分割
     *  letter 按照非字符类进行分割
     *  whitespace 按照空格进行分割
     *  UAX URL Email 按照 standard 分割，但不会分割 邮箱和url
     *  NGram 和 Edge NGram 连词分割
     *  Path Hierarchy 按照文件路径进行分割
 *  举例：

POST _analyze
    { 
        "tokenizer": "standard",  
        "filter": [
            "lowercase"          // 转小写
        ],
        "text": "hello world"
    }

## 3、token filter ##

*  对于 tokenizer 输出的单词 （term）进行增加、删除、修改等操作
 *  自带的如下：
 *   *  lowercase 将所有 term转换为小写
     *  stop 删除 stop words（指语气助词等修饰性的词语，比如 the、an、的、这 等等）
     *  NGram 和 Edge NGram 连词分割
     *  Synonym 添加近义词的 term
 *  举例：

POST _analyze
    { 
        "text": "hello world",
        "tokenizer": "standard",
        "filter": [
            "stop",
            "lowercase",
            { 
                "type": "ngram",
                "min_gram": 4,			// 4个词切割一次
                "min_gram": 4
            }
        ]
    }

## 4、自定义分词 ##

自定义分词需要在索引的配置中设定，如下所示：

PUT testindex
    { 
        "settings": { 
            "analysis": { 
                "char_filter": { },
                "tokenizer": { },
                "filter": { },
                "analyzer": { }
            }
        }
    }

举例：

PUT testindex
    { 
        "settings": { 
            "analysis": { 
                "filter": { 
                    "lowercase"
                },
                "analyzer": { 
                    "my_custom_analyzer": { 
                        "type": "custom",
                        "tokenizer": "standard",
                        "char_filter": [
                            "html_strip"
                        ]
                    }
                }
            }
        }
    }

[20191015114214935.png]: /images/20230601/9621537e565247298c10169ee09f3390.png
[20191015114232586.png]: /images/20230601/3c2d6895b1c349b08606548ed641cf0f.png
[20191015114253310.png]: /images/20230601/cae8bdeba85c449282f2e73a87b4cc64.png
[20191015114307165.png]: /images/20230601/a02f2616fadc412699e9d80e90eba39c.png
[20191015114318955.png]: /images/20230601/66c7906b80214be7bc8a2276b6b309b9.png
[20191015114333420.png]: /images/20230601/48f0db86c9324ac085174c03c5c2e754.png