ElasticSearch（六）【分词器】

ゝ一世哀愁。 2024-04-06 10:34 73阅读 0赞

### 六、分词器 ###

--------------------

#### 6.1 分词器介绍 ####

> Analysis 和 Analyzer

**Analysis**：文本分析是把全文本转换一系列单词（term/token）的过程，也叫分词（Analyzer）。Analysis是通过Analyzer来实现的。**分词就是将文档通过Analyzer分成一个一个的Term，每一个Term都指向包含这个Term的文档**

> Analyzer 组成

【**注意**】：在ES中默认使用标准分词器：StandardAnalyzer特点：中文单字分词/单词分词  
我是中国人this is a good man---->analyzer—>我 是 中 国 人 this is a good man

*  分析器（analyzer）都由三种构件组成的：`character filters`，`tokenizers`，`token filters`
    
     *  **Character Filter** 字符过滤器
        
         *  在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签(hello–> hello)，&–> and，（I&you–>I and you）
     *  **Tokenizers** 分词器
        
         *  英文分词可以根据空格将单词分开，中文分词比较复杂，可以采用机器学习算法来分词
     *  **Token Filters** Token过滤器
        
         *  **将切分的单词进行加工**。大小写转换（例将"Quick"转为小写），去掉停用词（例如停用词像"a"、“and”、“the"等等），加入同义词（例如同义词像"jump"和"leap”）

【**注意**】

*  三者顺序：Character Filter—>Tokenizers—>Token Filter
 *  三者个数：Character Filter（0个或多个）+ Tokenizers + Token Filters（0个或多个）

> 内置分词器

*  **Standard Analyzer**：默认分词器，英文按单词切分，并小写处理
 *  **Simple Analyzer**：按照单词切分（符号被过滤），小写处理
 *  **Stop Analyzer**：小写处理，停用词过滤（the、a、is…）
 *  **Whitespace Analyzer**：按照空格切分，不转小写
 *  **Keyword Analyzer**：不分词，直接将输入当作输出

#### 6.2 内置分词器测试 ####

*  **Standard Analyzer** 标准分词器
    
     *  特点：按照单词分词，英文统一转为小写，过滤标点符号，中文单子分词

POST /_analyze
    {
        
      "analyzer": "standard",
      "text": "我是中国人, this is a good Man"
    }

![在这里插入图片描述][c8f63301ff2540959161bdb2b8121586.png_pic_center]

*  **Simple Analyzer** 简单分词器
    
     *  特点：按照单词分词，英文统一转为小写，过滤标点符号，中文不分词（按照"空格"或标点符号分词）

POST /_analyze
    {
        
      "analyzer": "simple",
      "text": "我是,中国人, this is a good Man"
    }

![在这里插入图片描述][c70e0f1da97d4b47ab5231d393fa9719.png_pic_center]

*  **WhitespaceAnalyzer** 空格分词器
    
     *  特点：中文、英文按照空格分词，英文不会转为小写，不去掉标点符号

POST /_analyze
    {
        
      "analyzer": "whitespace",
      "text": "我是中国人, this is a good Man"
    }

![在这里插入图片描述][14a82d18556e427685685def5968a335.png_pic_center]

*  **Keyword Analyzer** 关键词分词器
    
     *  特点：将输入的内容当作一个关键词

POST /_analyze
    {
        
      "analyzer": "keyword",
      "text": "我是中国人, this is a good Man"
    }

![在这里插入图片描述][28e927fe56fc47c8b0359b4c5d6e31f7.png_pic_center]

#### 6.3 创建索引设置分词 ####

# 创建时,默认使用标准分词器 "analyzer": "standard"
    PUT /analyzer
    {
        
      "settings": {
        },
      "mappings": {
        
        "properties": {
        
          "title": {
        
            "type": "text",
            "analyzer": "standard"
          }
        }
      }
    }

#### 6.4 中文分词器 ####

在ES中支持中文分词器非常多，如smartCN、IK等，这里推荐使用`IK分词器`

> 安装IK

github网站：[https://github.com/medcl/elasticsearch-analysis-ik][https_github.com_medcl_elasticsearch-analysis-ik]

【**注意**】

*  IK分词器的版本要与安装ES的版本一致
 *  Docker容器运行ES安装插件目录为`/usr/share/elasticsearch/plugins`

# 1.下载对应版本到本地
    wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.14.0/elasticsearch-analysis-ik-7.14.0.zip
    
    # 2.解压(建议本地下载之后,手动解压,再使用xftp将解压后的文件上传到linux)
    unzip elasticsearch-analysis-ik-6.2.4.zip ik-7.14.0	(如果没有unzip命令,先使用"yum install -y unzip"进行安装)
    
    # 3.移动到es安装目录的plugis目录中(不推荐使用,如果是手动解压,可以忽略此步骤往下看)
    mv ik-7.14.0 elasticsearch-analysis-ik-6.2.4/plugins/

![在这里插入图片描述][428c0fb1d7b44e5591124b82be7db28a.png_pic_center]

![在这里插入图片描述][836e1a89ffa042c880c4ff70d65c13dd.png_pic_center]

![在这里插入图片描述][e47146c55aee4202861f2cd9e2f476a2.png_pic_center]

![在这里插入图片描述][79f00ad0bcae463297583a9ef3cb713e.png_pic_center]

**使用数据卷挂载的方式**

# 1.先停止对应docker容器
    docker-compose down
    
    # 2.修改docker-compose.yml文件,如下图所示
    # 将当前的路径下的ik-7.14.0文件映射到容器内部中的/usr/share/elasticsearch/plugins/ik-7.14.0文件,同时删除volumes下的plugin

![在这里插入图片描述][3a8a7d2e1d9a486e9a8e7b7421ad2ed8.png_pic_center]  
![在这里插入图片描述][2a4d6416f6f4486d82272c9590ad915f.png_pic_center]

############################################### 内容如下 ###############################################
    version: "3.8"
    volumes:
      data:
      config:
    networks:
      es:
    services:
      elasticsearch:
        image: elasticsearch:7.14.0
        ports:
          - "9200:9200"
          - "9300:9300"
        networks:
          - "es"
        environment:
          - "discovery.type=single-node"
          - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        volumes:
          - data:/usr/share/elasticsearch/data
          - config:/usr/share/elasticsearch/config
          - ./ik-7.14.0:/usr/share/elasticsearch/plugins/ik-7.14.0
    
      kibana:
        image: kibana:7.14.0
        ports:
          - "5601:5601"
        networks:
          - "es"
        volumes:
          - ./kibana.yml:/usr/share/kibana/config/kibana.yml
    
    ###############################################  ###############################################

#### 6.5 IK使用 ####

IK有两种颗粒度的拆分

*  **ik\_smart**：会做粗粒度的拆分
 *  **ik\_max\_word**：会将文本做最细粒度的拆分

**ik\_smart测试**

POST /_analyze
    {
        
      "analyzer": "ik_smart",
      "text": "中华人民共和国国歌"
    }

![在这里插入图片描述][ec5743875e0245c2b2c0db29bc63a847.png_pic_center]

**ik\_max\_word测试**

POST /_analyze
    {
        
      "analyzer": "ik_max_word",
      "text": "中华人民共和国国歌"
    }

![在这里插入图片描述][6f2bac480de44f2ea99f8d2c08a42c43.png_pic_center]

下一篇文章《[ElasticSearch - 扩展词、停用词配置][ElasticSearch -]》

[c8f63301ff2540959161bdb2b8121586.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3d643915ae184b70ba92de4e6bc620aa.png
[c70e0f1da97d4b47ab5231d393fa9719.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/a249ed34982f463b930e2bc95e49a591.png
[14a82d18556e427685685def5968a335.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ea8703bbbf97453da2d1f87fb0234d98.png
[28e927fe56fc47c8b0359b4c5d6e31f7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/e50c5aeb62fd4f59a639669ecd7c6c3d.png
[https_github.com_medcl_elasticsearch-analysis-ik]: https://github.com/medcl/elasticsearch-analysis-ik
[428c0fb1d7b44e5591124b82be7db28a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/ffec12914cdf4849ae193b87ae6e2d4f.png
[836e1a89ffa042c880c4ff70d65c13dd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/66c8f7692d9a4a68b41e7d39d292cde5.png
[e47146c55aee4202861f2cd9e2f476a2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/06ed605dded14ddda30b0d18c6c594d2.png
[79f00ad0bcae463297583a9ef3cb713e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/8ae2674c5b794651acf9b646bc243cc7.png
[3a8a7d2e1d9a486e9a8e7b7421ad2ed8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3df3e50a0cc84e8f873341d250449e51.png
[2a4d6416f6f4486d82272c9590ad915f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5a7865366949403d8a43b1e6585962a9.png
[ec5743875e0245c2b2c0db29bc63a847.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/72399cef453e45b1855e91ba9176d571.png
[6f2bac480de44f2ea99f8d2c08a42c43.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/5d27d100d664428ab51f20bb13931d01.png
[ElasticSearch -]: https://blog.csdn.net/Wei_Naijia/article/details/126923745