ElasticSearch教程——mapping详解

浅浅的花香味﹌ 2021-09-27 13:18 459阅读 0赞

**ElasticSearch汇总请查看：[ElasticSearch教程——汇总篇][ElasticSearch]**

# 前期准备 #

插入几条数据，让es自动为我们建立一个索引

PUT /website/article/1
    {
      "post_date": "2017-01-01",
      "title": "my first article",
      "content": "this is my first article in this website",
      "author_id": 11400
    }
    
    PUT /website/article/2
    {
      "post_date": "2017-01-02",
      "title": "my second article",
      "content": "this is my second article in this website",
      "author_id": 11400
    }
    
    PUT /website/article/3
    {
      "post_date": "2017-01-03",
      "title": "my third article",
      "content": "this is my third article in this website",
      "author_id": 11400
    }

尝试各种搜索

GET /website/article/\_search?q=2017                                3条结果               
GET /website/article/\_search?q=2017-01-01                      3条结果  
GET /website/article/\_search?q=post\_date:2017-01-01     1条结果  
GET /website/article/\_search?q=post\_date:2017                1条结果

# 初识mapping #

通过如下请求可以查看自动建立的mapping中的数据类型，从而带出什么是mapping的知识点

GET /website/_mapping/article

返回结果

{
      "website": {
        "mappings": {
          "article": {
            "properties": {
              "author_id": {
                "type": "long"
              },
              "content": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "post_date": {
                "type": "date"
              },
              "title": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              }
            }
          }
        }
      }
    }

自动或手动为index中的type建立的一种数据结构和相关配置，简称为mapping。  
dynamic mapping，自动为我们建立index，创建type，以及type对应的mapping，mapping中包含了每个field对应的数据类型，以及如何分词等设置。当然，也可以手动在创建数据之前，先创建index和type，以及type对应的mapping。

## 谜底揭晓 ##

上述问题搜索结果为什么不一致，是因为es自动建立mapping的时候，设置了不同的field不同的data type。不同的data type的分词、搜索等行为是不一样的。所以出现了\_all field（搜索所有的field，任意一个field包含指定的关键字就可以搜索出来）和post\_date field的搜索表现完全不一样。另外上面GET /website/article/\_search?q=post\_date:2017之所以能够搜索出一条结果是因为在5.2的版本之后ES做的一个优化。

## \_all metadata的原理 ##

es中的\_all元数据，在建立索引的时候，我们插入一条document，它里面包含了多个field，此时，es会自动将多个field的值，全部用字符串的方式串联起来，变成一个长的字符串，作为\_all field的值，同时建立索引

后面如果在搜索的时候，没有对某个field指定搜索，就默认搜索\_all field，其中是包含了所有field的值的

举个例子

{
      "name": "jack",
      "age": 26,
      "email": "jack@sina.com",
      "address": "guamgzhou"
    }

"jack 26 jack@sina.com guangzhou"，作为这一条document的\_all field的值，同时进行分词后建立对应的倒排索引。

# 对mapping的透彻理解 #

（1）往es里面直接插入数据，es会自动建立索引，同时建立type以及对应的mapping；  
（2）mapping中就自动定义了每个field的数据类型；  
（3）不同的数据类型（比如说text和date），可能有的是exact value，有的是full text；  
（4）**exact value**，在建立倒排索引的时候，分词的时候，是将整个值一起作为一个关键词建立到倒排索引中的；**full text**，会经历各种各样的处理，分词，**normaliztion（时态转换，同义词转换，大小写转换，单复数转换）**，才会建立到倒排索引中；  
（5）同时呢，exact value和full text类型的field就决定了，在一个搜索过来的时候，对exact value field或者是full text field进行搜索的行为也是不一样的，会跟建立倒排索引的行为保持一致；比如说exact value搜索的时候，就是直接按照整个值进行匹配，full text query string，也会进行分词和normalization再去倒排索引中去搜索；  
（6）可以用es的dynamic mapping，让其自动建立mapping，包括自动设置数据类型；也可以提前手动创建index和type的mapping，自己对各个field进行设置，包括数据类型，包括索引行为，包括分词器，等等。

简单来说，mapping就是index的type的元数据，每个type都有一个自己的mapping，决定了数据类型，建立倒排索引的行为，还有进行搜索的行为。

# mapping的核心数据类型 #

string  
byte，short，integer，long  
float，double  
boolean  
date

true or false	-->	boolean
    123		-->	long
    123.45		-->	double
    2017-01-01	-->	date
    "hello world"	-->	string/text

# 手动创建mapping #

只能创建index时手动建立mapping，或者新增field mapping，但是**不能update field mapping**

PUT /newwebsite
    {
      "mappings": {
        "article": {
          "properties": {
            "author_id": {
              "type": "long"
            },
            "title": {
              "type": "text",
              "analyzer": "english"
            },
            "content": {
              "type": "text"
            },
            "post_date": {
              "type": "date"
            },
            "publisher_id": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }

## 测试analyzer为English ##

GET /newwebsite/_analyze
    {
      "field": "title",
      "text": "a dog" 
    }

结果

{
      "tokens": [
        {
          "token": "dog",
          "start_offset": 2,
          "end_offset": 5,
          "type": "<ALPHANUM>",
          "position": 1
        }
      ]
    }

## 测试默认值 ##

GET /newwebsite/_analyze
    {
      "field": "content",
      "text": "a dog" 
    }

结果

{
      "tokens": [
        {
          "token": "a",
          "start_offset": 0,
          "end_offset": 1,
          "type": "<ALPHANUM>",
          "position": 0
        },
        {
          "token": "dog",
          "start_offset": 2,
          "end_offset": 5,
          "type": "<ALPHANUM>",
          "position": 1
        }
      ]
    }

## 测试keyword ##

目前已经取代了 "index": "not\_analyzed"，如有相关异常可以查看[Failed to parse value \[not\_analyzed\] as only \[true\] or \[false\] are allowed][Failed to parse value _not_analyzed_ as only _true_ or _false_ are allowed]

**另外，对于超过`ignore_above` 的字符串，analyzer 不会进行处理，不会索引起来，最终搜索引会擎搜索不到**

GET /newwebsite/_analyze
    {
      "field": "publisher_id",
      "text": "a dog" 
    }

结果

{
      "tokens": [
        {
          "token": "a dog",
          "start_offset": 0,
          "end_offset": 5,
          "type": "word",
          "position": 0
        }
      ]
    }

[ElasticSearch]: https://blog.csdn.net/gwd1154978352/article/details/82781731
[Failed to parse value _not_analyzed_ as only _true_ or _false_ are allowed]: https://blog.csdn.net/gwd1154978352/article/details/82954220