Day16_04_ES教程之在Kibana客户端进行DSL查询与过滤

痛定思痛。 2024-02-19 20:25 12阅读 0赞

## 在Kibana客户端进行DSL查询与过滤 ##

### 一. DSL简介 ###

#### 1. 什么是DSL? ####

由ES提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询. DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现.

#### 2. DSL组成: DSL查询+DSL过滤 ####

dsl过滤简单理解为就是精确查询,而dsl查询是模糊查询(like).由于查询需要做相关度排序,并且过滤可以缓存,所以过滤的效率高于查询.所以只有必须要用查询的时候才用它(模糊查询),否则都用过滤.

#### 3. DSL客户端工具 ####

可以利用Kibana的Dev Tools作为客户端工具,执行相关的DSL命令.  
![Image 1][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70][]

### 二. 基本命令 ###

#### 1. 获取所有数据 ####

GET  /_search

#### 2. 创建Document ####

PUT /products/product/1
    {
        "name" : "mac pro",
        "desc" :  "苹果本,很贵",
        "price" :  30,
        "tag": [ "很贵", "好用" ]
    }
    
    PUT /products/product/2
    {
        "name" : "小米",
        "desc" :  "手机中的战斗机",
        "price" :  25,
        "tag": [ "发烧机" ]
    }
    
    PUT /products/product/3
    {
        "name" : "西瓜",
        "desc" :  "夏天的解暑神器",
        "price" :  2,
        "tag": [ "麒麟瓜" ]
    }

#### 3. 检索文档查询 ####

GET /products/product/1

#### 4. 替换文档(全量替换) ####

PUT /products/product/1
    {
        "name" : "神舟笔记本",
        "desc" :  "还不错哦",
        "price" :  300,
        "tag": [ "国产", "不错" ]
    }

#### 5. 更新文档(\_update) ####

POST /products/product/1/_update
    {
      "doc":
        {
          "price":70
        }
    }

#### 6. 删除文档 ####

DELETE /products/product/1

#### 注意: ####

在删除一个Document之后,它不是立即物理删除的,它的版本等信息还保留着.

### 三. DSL查询 ###

#### 1. query string search ####

比如要搜索全部商品:  
`GET /products/product/_search`(参数直接拼接在请求url上,不带json参数).

query string search的由来,因为search参数都是以http请求的query string所附带的,搜索商品名称中包含mac pro的商品,并且按照售价降序排序: `GET /products/product/_searchq=name:mac pro&sort=price:desc`

适用于临时在命令行使用一些工具,比如curl,快速的发出请求,来检索想要的信息.但是如果查询请求很复杂,是很难去构建的,所以在生产环境中,几乎很少使用query string search.

#### 2. query DSL ####

**DSL**: Domain Specified Language, 特定领域的语言.  
**http request body**: 请求体,可以用json的格式来构建查询语法,比较方便.也可以构建各种复杂的语法,比query string search功能强大的多.

#### 2.1 查询所有的商品 ####

GET products/product/_search
    {
    　　"query":
    　　　　{
    　　　　　　"match_all": {}
    　　　　}
    }

#### 2.2 查询名称包含 "小米" 的产品,同时按照价格进行降序排序 ####

GET products/product/_search
    {
    　　"query": {
    　　　　"match": {
    　　　　　　"name": "小米"
    　　　　}
    　　},
    　　"sort": [
    　　　　{
    　　　　　　"price":"desc"
    　　　　}
    　　]
    }

#### 2.3 分页查询 ####

总共3条商品,假设每页就显示1条商品,现在显示第1页,所以就查出来第1个商品.

GET products/product/_search
    {
    　　"query": {
    　　　　"match_all": {}
    　　}, 
    　　"from": 0,
    　　"size": 1
    }

#### 2.4 查询指定项 ####

GET products/product/_search
    {
    　　"query": {
    　　　　"match_all": {}
    　　},
    　　"_source":["name","price"]
    }

### 四. DSL过滤 ###

#### 1. DSL过滤简介 ####

DSL过滤语句和DSL查询语句非常相似,但是它们的使用目的却不同:  
DSL过滤查询一般是指我们的条件“有”或者“没有”,而DSL查询则一般是指我们的条件“有多像”.  
DSL过滤和DSL查询在性能上的区别:

*  1️⃣.过滤结果可以缓存并应用到后续请求;
 *  2️⃣.查询语句同时匹配文档,计算相关性,所以更耗时,且不缓存;
 *  3️⃣.过滤语句可有效地配合查询语句完成文档过滤.

**原则上,使用DSL查询做全文搜索或其他需要进行相关性评分的场景,其它全用DSL过滤.**

#### 2. 过滤查询 ####

搜索商品名称包含 "西瓜",且售价大于2元的商品.

# dsl过滤
    GET products/product/_search
    {
      "query": {
        "bool": {
          "must": [
            {
              "match_all": {}
            }
          ],
          "filter": {
            "range": {
              "price": {
                "gte": 10,
                "lte": 100
              }
            }
          }
        }
      },
      "sort": [
        {
          "price": {
            "order": "desc"
          }
        }
      ],
      "from": 0,
      "size": 2,
      "_source": ["name","price"]
    }

#### 3. 单词搜索与过滤（Term和Terms） ####

#### 3.1 term过滤 ####

GET products/product/_search
    {
        "query": {
            "bool": {
                "must": { 
                    "match_all": {} 
                }, 
                "filter": { 
                    "term": { 
                        "tags":"甜" 
                    } 
                } 
            } 
        }
    }

#### 3.2 Terms搜索与过滤 ####

GET products/product/_search
    {
        "query": {
            "terms": {
                "tags": ["甜","新疆"]
            }
        }
    }

#### 4. 组合条件搜索与过滤（Bool） ####

组合搜索bool可以组合多个查询条件为一个查询对象,查询条件包括must、should和must\_not.

例如: 查询爱好有美女,同时也有喜欢游戏或运动,且出生于1990-06-30及之后的人.

{
        "query": {
            "bool": {
                "must": [{"term": {"hobby": "美女"}}],
                "should": [
                     {"term": {"hobby": "游戏"}}, 
                     {"term": {"hobby": "运动"}} 
                ],
                "must_not": [
                    {"range" :{"birth_date":{"lt": "1990-06-30"}}} 
                ],
                "filter": [...],
                "minimum_should_match": 1
            }
        }
    }

提示:

如果 bool 查询下没有must子句,那至少应该有一个should子句,但是 如果有 must子句,那么没有 should子句也可以进行查询.

#### 5. 范围查询与过滤(range) ####

range过滤允许我们按照指定范围查找一批数据:

gt:>   gte:>=   lt:<  lte:<=

ex: 查询年龄大于等于18并且小于20.

GET products/product/_search
    {
        "query":{
            "range": {
                "price": {
                    "gte": 10,
                    "lt": 100
                }
            }
        }
    }

#### 6. 存在和缺失过滤器(exists和missing) ####

GET products/product/_search
    {
        "query": {
            "bool": {
                "must": [{
                    "match_all": {}
                }],
                "filter": {
                    "exists": { "field": "price" }
                }
            }
        }
    }

提示: exists和missing只能用于过滤结果.

#### 7. 前匹配搜索与过滤（prefix） ####

和term查询相似,前匹配搜索不是精确匹配,而是类似于SQL中的like ‘key%’.

ex: 查询名称包含"西"的所有商品.

GET products/product/_search
    {
        "query": {
            "prefix": {
                "name": "西"
            }
        }
    }

#### 8. 通配符搜索(wildcard) ####

使用\*代表0~N个, 使用?代表1个.

GET products/product/_search
    {
        "query": {
            "wildcard": {
                "name": "西*"
            }
        }
    }

### 五. 补充知识 ###

#### 1. 全匹配(match\_all) ####

普通搜索(匹配所有文档):

{
        "query" : {
            "match_all" : {}
        }
    }

如果需要使用过滤条件(在所有文档中过滤,【 "must" :\[\{"match\_all":\{\}\}\],】部分默认可不写):

{
        "query" : {
            "bool" : {
                "must" : [{
                    "match_all":{}
                }],
                "filter":{...}
            }
        }
    }

#### 2. 标准查询(match和multi\_match) ####

match查询是一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它.

如果你使用match查询一个全文本字段,它会在真正查询之前用分析器先分析查询字符:

{
        "query": {
            "match": {
                "fullName": "Steven King"
            }
        }
    }

上面的搜索会对Steven King分词,并找到包含Steven或King的文档,然后给出排序分值.

如果用 match 下指定了一个确切值,在遇到数字,日期,布尔值或者 not\_analyzed的字符串时,它将为你搜索你给定的值,如:

{ "match": { "age": 26 }}
    { "match": { "date": "2014-09-01" }}
    { "match": { "public": true }}
    { "match": { "tag": "full_text" }}

multi\_match查询允许你做 match查询的基础上同时搜索多个字段:

{
        "query":{
            "multi_match": {
                "query": "Steven King",
                "fields": [ "fullName", "title" ]
            }
    }

上面的搜索同时在fullName和title字段中匹配.

提示:match一般只用于全文字段的匹配与查询,一般不用于过滤.

#### 2. full-text search(全文检索) ####

全文检索会将输入的搜索串拆解开来,去倒排索引里面去一一匹配,只要能匹配上任意一个拆解后的单词,就可以作为结果返回.

GET products/product/_search
    {
      "query": {
        "match": {
          "name": "西瓜"
        }
      }
    }

#### 3. phrase search(短语搜索) ####

phrase search要求输入的搜索串,必须在指定的字段文本中,完全包含一模一样的,才可以算匹配,才能作为结果返回.

GET products/product/_search
    {
      "query": {
        "match_phrase": {
          "name": "mac pro"
        }
      }
    }

#### 4. 多条件查询 ####

*  must表示一定要满足;
 *  should表示可以满足也可以不满足;
 *  must\_not表示不能满足该条件;
 *  "minimum\_should\_match": 1 表示最小匹配度,可以设置为百分百,详情看源文档Elasticsearch Reference \[6.4\] » Query DSL » Minimum Should Match.设置了这个值的时候就必须满足should里面的设置了,另外注意这边should里面同一字段设置的多个值(意思是当这个值等于X或者等于Y的时候都成立,务必注意格式).

GET /products/_search
    {
      "query": {
        "bool": {
          "must": [
            {
              "match": {
               "name": "mac pro"
              }
            }
          ],
          "must_not": [
            {
              "match": {
                "price": 100
              }
            }
          ],
         "minimum_should_match":1
        }
      }
    }

multi-index和multi-type搜索模式,告诉你如何一次性搜索多个index和多个type下的数据.

#### 5. 其他命令解释 ####

*  **/\_search**: 搜索所有索引,所有type下的所有数据;
 *  **/index1/\_search**: 指定一个index,搜索其下的所有type的数据;
 *  **/index1,index2/\_search**: 同时搜索两个index下的数据;
 *  **/test1\_*,test2\_*/\_search**: 按照通配符去匹配多个索引;
 *  **/index1/type1/\_search**: 搜索一个index下指定的type的数据;
 *  **/index1/type1,type2/\_search**: 可以搜索一个index下多个type的数据;
 *  **/index1,index2/type1,type2/\_search**: 搜索多个index下的多个type的数据;
 *  **/\_all/type1,type2/\_search**: \_all可以代表搜索所有index下的指定type的数据.

[Image 1]: 
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3N5YzAwMDY2Ng_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/d84f1bac49a74960b64ebc5088d7fe71.png