ElasticSearch系列 - analyzer分词

约定不等于承诺〃 2023-10-09 09:45 42阅读 0赞

#### ElasticSearch系列 - analyzer分词 ####

### 文章目录 ###

*   *   *   *  ElasticSearch系列 - analyzer分词
             *   *  什么是Analyzer
                 *  Analyzer的组成
                 *  ElasticSearch 的内置分词器
                 *  ElasticSearch 使用分词器
                 *  中文分词的难点
                 *  中文分词的原理
                 *   *  基于字符串匹配
                     *  基于理解的分词方法
                     *  基于统计的分词方法

##### 什么是Analyzer #####

ElasticSearch中数据的存储是要经过分词再存储，Analyzer则为分词器，elasticSearch中内置了很多分词器，除了在数据写入的过程中，匹配Query语句时候也需要分词。

##### Analyzer的组成 #####

Analyzer由三部分组成

*  Character Filters 针对原始文本的处理，例如去除Html
 *  Tokenizer 按规则切分为单词
 *  Token Filter 将单词进行加工，消协，删除stopwords，增加同义词

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzMwNjg3_size_16_color_FFFFFF_t_70]

##### ElasticSearch 的内置分词器 #####

*  Standard Analyzer 默认分词器，按词切分，小写处理
 *  Simple Analyzer 按照非字母切分(符号被过滤)，小写处理
 *  Stop Analyze 小写处理，停用词过滤（the，a，is）
 *  Whitespace Analyzer 按空格切分，不转小写
 *  Keyword Analyzer 不分词 直接输入当作输出
 *  Patter Analyzer 正则表达式，默认\\W+（非字符分隔）
 *  Language 提供了30多种常见语言分词器
 *  Customer Analyzer 自定义分词器

##### ElasticSearch 使用分词器 #####

GET /_analyze
    {
        
      "analyzer":"standard",
      "text":"I am a nice boy"
    }
    
    分词结果
    i;am;a;nice;boy;

##### 中文分词的难点 #####

中文语句，切分一个一个的词，而不是一个一个的字，英文中单词有空格区分

一句话，不同的上下文，切分单词也是不一样的

在国内IK与THULAC两款开源中文分词器使用较多

##### 中文分词的原理 #####

现有的**分词方法**可分为三大类：**基于字符串匹配的分词方法**、**基于理解的分词方法**和**基于统计的分词方法**。

###### 基于字符串匹配 ######

这个之前我使用DFA做敏感词过滤，也需要从句子中找到词语，原理类似，同样需要维护一个字典，根据一定的算法去匹配。按照**扫描方向**的不同，字符串匹配分词方法可以分为**正向匹配**和**逆向匹配**；按照**不同长度优先匹配**的情况，可以分为**最大（最长）匹配**和**最小（最短）匹配**。例如：字典中含有【中国】【队长】【中国队长】三个词语，输入："中国队长"这个字符串，如果按最短匹配，【中国】【队长】，如果按最长匹配则为【中国队长】

这类算法的**优点是速度快**，时间复杂度可以保持在O（n）,实现简单，效果尚可；但对**歧义**和**未登录词**处理效果不佳。

###### 基于理解的分词方法 ######

基于理解的分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性，难以将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还处在试验阶段。

###### 基于统计的分词方法 ######

一句话概括：机器学习训练，NLP

例如上述的THULAC为使用统计的分词方法。

总结来看，中文分词目前机器学习是主流。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzMwNjg3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190924232655755.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzMwNjg3,size_16,color_FFFFFF,t_70