【ElasticSearch】_all metadata引出对mapping思考

桃扇骨 2022-12-27 02:14 130阅读 0赞

**一、\_all metadata原理：**

GET /index/type/_search?q=test

直接可以搜索所有的field，任一个field包含指定的关键字就可以搜索出来。搜索过程是怎样的？  
es中的\_all元数据，在建立索引的时候，我们插入一条document，它里面包含了多个field，此时es会自动将多个field的值，全部用字符串的方式串联起来，变成一个长字符串，作为\_all field的值，同时建立索引。

后面如果搜索的时候，没有对某个field指定搜索，就默认搜索\_all field，其中是包含了所有field的值的。

举个例子：

{ 
    	“name”:"Jack",
    	"age":"20",
    	"email":"Jack@sina.com",
    	"address":"guangdong"
    }

es会将"Jack 20 Jack@sina.com guangdong"作为这条document的\_all field的值，同时分词后建立对应的倒排索引。

我们先来看两个搜索：

GET /website/article/_search?q=2017-01-01
    GET /website/article/_search?q=date:2017-01-01

这两条搜索的结果是不同的，为什么不一致呢？这就要引出我们的mapping了。

**二、mapping：**

我们查看es自动建立的mapping，mapping就是es自动或我们自己手动为index的type建立的一种数据结构和相关配置，如下：

{ 
      "index": { 
        "mappings": { 
          "doc": { 
            "properties": { 
              "algorithmCateData": { 
                "type": "text",
                "analyzer": "simple"
              },
              "allowComment": { 
                "type": "integer"
              }
            }
          }
        }
      }
    }

es自动建立mapping的时候，设置了不同的field不同的data type，不同data type的分词、搜索等行为是不一样的。

1）往es里插入数据，es会自动建立索引，同时建立type及对应的mapping  
2）mapping中就自动定义了每个field的数据类型  
3）不同的数据类型（text和date），可能有的是exact value，有的是full text  
4）exact value,在建立倒排索引的时候，分词的时候，是将整个值一起作为一个关键词建立到倒排索引中的，full text是经过各种处理，分词，normalization(时态，同义词，大小写等转换)，才会建立到倒排索引  
5）同时，exact value 和full text类型的field就决定了，搜索时，对exact value field或full text field搜索行为是不一样的，会跟建立倒排索引的行为保持一致。exact value搜索时按整个值匹配，full text query string进行分词和normalization再去倒排索引中搜索  
6）可以用es的dynamic mapping，让其自动建立mapping，包括自动设置数据类型，也可以提前手动创建index和type的mapping，自己对各个field进行设置，包括数据类型，包括索引行为，包括分词器等  
mapping,就是index的type的元数据，每个type都有一个自己的mapping，决定了数据类型，建立倒排索引的行为，还有搜索的行为。

**三、exact value精确匹配和full text全文搜索：**

**exact value:**  
2017-01-01，搜索时必须输入2017-01-01才能搜索出来，只01，搜索不出来。

**full text:**  
1)缩写vs  
2)格式转化：like liked likes  
3)大小写：Tom vs tom  
4)同义词：like vs love

**例如：**  
2017-01-01,2017 01 01,搜索2017,或者01,都可以搜索出来  
china，缩写cn  
likes，搜索like也可以搜出来  
Tom，搜索tom也可以将Tom搜索出来  
like，搜索love，同义词，也可以搜出like  
就是不说单纯只是匹配完整的一个值，而是可以对值进行拆分词语后进行匹配，也可以通过缩写、时态、大小写、同义词等进行匹配

**了解这两种查询方式，我们再来看以上两个搜索为何结果不同？**

1:GET /website/article/_search?q=2017-01-01

搜索的是\_all field，document所有的field都会拼接成一个大串，进行分词

2017-01-02 my second article this is my second article in this website 11400

\_all的搜索会搜到3个document

2:GET /website/article/_search?q=date:2017-01-01

date，会作为exact value建立索引：

只查到一条结果。