【ElasticSearch】DSL查询语法

古城微笑少年丶 2023-10-13 12:42 78阅读 0赞

#### 文章目录 ####

*  1、DSL查询分类
 *  2、DSL基本语法
 *  3、全文检索查询
 *  4、精确查询
 *  5、地理查询
 *  6、复合查询--相关性打分算法
 *  7、复合查询之Function Score Query
 *  8、复合查询之BooleanQuery

## 1、DSL查询分类 ##

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。[官方文档][Link 1]：

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html

其中，常见的查询类型有：

*  **查询所有**：查询出所有数据，一般测试用。例如：

match_all

*  **全文检索（full text）查询**：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：

match_query
    multi_match_query

*  **精确查询**：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：

ids
    range
    term

*  **地理（geo）查询**：根据经纬度查询。例如：

geo_distance
    geo_bounding_box

*  **复合（compound）查询**：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：

bool
    function_score

## 2、DSL基本语法 ##

GET /indexName/_search
    {
        
      "query": {
        
        "查询类型": {
        
          "查询条件": "条件值"
        }
      }
    }

举例，查询类型为match\_all，那查询条件就为空了：

![在这里插入图片描述][d3a621aa7dc641d0a4f2ca1638e031a8.png]  
示例：

![在这里插入图片描述][e62d1ee366f44fcd85cf0ccf17fbaa43.png]

## 3、全文检索查询 ##

`全文检索查询，会对用户输入内容分词，常用于搜索框搜索`：

![在这里插入图片描述][71b814f6e9904f7caf705ba8df3da8c3.png]

> 全文检索第一种：match查询

会对用户输入内容分词，然后去倒排索引库检索，语法：

GET /indexName/_search
    {
        
      "query": {
        
        "match": {
        
          "FIELD": "TEXT"
        }
      }
    }

注意这里的字段只有一个，但实际场景如：输入虹桥，预期返回business、name、brand等字段包含虹桥的数据，如此就得用上一节的`copy_to：all`里的all字段：

GET /indexName/_search
    {
        
      "query": {
        
        "match": {
        
          "all": "虹桥"
        }
      }
    }

![在这里插入图片描述][d7587c8c07e444589730939b4c1dab99.png]  
若再加词语，分词的原因，则返回结果更多，且同时有如家和虹桥两个词语的结果会排到最前面：

GET /indexName/_search
    {
        
      "query": {
        
        "match": {
        
          "all": "虹桥如家"
        }
      }
    }

![在这里插入图片描述][0b0ca98cbd3c43e6a086cd1ada19b8c5.png]

> 全文检索第二种：multi\_match查询

与match查询类似，只不过允许同时查询多个字段，语法：

GET /indexName/_search
    {
        
      "query": {
        
        "multi_match": {
        
          "query": "TEXT",
          "fields": ["FIELD1", " FIELD12"]
        }
      }
    }

此时就不用借助copy\_to和定义的all字段了：

GET /hotel/_search
    {
        
      "query": {
        
        "multi_match": {
        
          "query": "虹桥如家",
          "fields": ["brand", "name","business"]
        }
      }
    }

![在这里插入图片描述][b9b690f4612248e2b07ba722bc10cbe0.png]

二者结果一样，但从性能考虑，推荐match+copy\_to，因为参与搜索的字段越多，性能越低。

小结：  
![在这里插入图片描述][fa0c0ccb496c4fe38f4accb24ce36e7a.png]

## 4、精确查询 ##

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以`不会对搜索条件分词`。常用的两种：

*  term：根据词条精确值查询
 *  range：根据值的范围查询

![在这里插入图片描述][caef511a5b3a48afb947192fb434fff4.png]

> term查询：

// term查询
    GET /indexName/_search
    {
        
      "query": {
        
        "term": {
        
          "FIELD": {
        
            "value": "VALUE"
          }
        }
      }
    }

举例：

// term查询
    GET /hotel/_search
    {
        
      "query": {
        
        "term": {
        
          "city": {
        
            "value": "上海"
          }
        }
      }
    }

![在这里插入图片描述][4b4e793744c84d84b393d449ab9f61c2.png]

精确匹配，必须一模一样：

![在这里插入图片描述][8f934988b1fa4049979496c51ad275cb.png]

> range查询：

// range查询
    GET /indexName/_search
    {
        
      "query": {
        
        "range": {
        
          "FIELD": {
        
            "gte": 10,
            "lte": 20
          }
        }
      }
    }

举例：

// range查询
    GET /hotel/_search
    {
        
      "query": {
        
        "range": {
        
          "price": {
        
            "gte": 100,
            "lte": 300
          }
        }
      }
    }

![在这里插入图片描述][84480fbc32e64821a98db2d45b9773a0.png]

gt: 大于
    gte: 大于等于
    lt: 小于
    lte: 小于等于

小结：

![在这里插入图片描述][76e255472b63474e8c9fb382d0ddc8c8.png]

## 5、地理查询 ##

根据[经纬度查询][Link 2]。常见的使用场景包括：

*  携程：搜索我附近的酒店
 *  滴滴：搜索我附近的出租车
 *  微信：搜索我附近的人

![在这里插入图片描述][b16de1d612bc4c6d8a126cb1ac138be3.png]

> geo\_bounding\_box：

查询geo\_point值落在某个矩形范围的所有文档

// geo_bounding_box查询
    GET /indexName/_search
    {
        
      "query": {
        
        "geo_bounding_box": {
        
          "FIELD": {
        
            "top_left": {
        
              "lat": 31.1,
              "lon": 121.5
            },
            "bottom_right": {
        
              "lat": 30.9,
              "lon": 121.7
            }
          }
        }
      }
    }

如下图，蓝色地标为一个个酒店，落在矩形之内的即是符合要求的：

![在这里插入图片描述][f02d248f53ab42a89501edcd0b7b09a6.png]

> geo\_distance：

查询到指定中心点小于某个距离值的所有文档

// geo_distance 查询
    GET /indexName/_search
    {
        
      "query": {
        
        "geo_distance": {
        
          "distance": "15km",
          "FIELD": "31.21,121.5"
        }
      }
    }
    // "31.21,121.5"是我的位置坐标
    //FIELD则写酒店位置字段，即location
    //以上即查出以我为中心，附近15KM内的酒店

![在这里插入图片描述][91d360cfed8541129837e4b414fd9e26.png]

示例：

GET /hotel/_search
    {
        
      "query": {
        
        "geo_distance": {
        
          "distance": "5km",
          "location": "31.21,121.5"
        }
      }
    }

![在这里插入图片描述][2d5207c047e146da9a577fa8a2921387.png]

## 6、复合查询–相关性打分算法 ##

复合（compound）查询就是将上面这几种简单查询组合起来，实现更复杂的搜索逻辑。

> 相关性打分算法

![在这里插入图片描述][330a3df6a8d0483291c0008dc6298854.png]

![在这里插入图片描述][1f5d6e4be4d5410fbd0884041c510baf.png]  
三个文档里都有如家，大家都加一定得分，那这个词意义不大，即它相应的权重应该低一点，因此，TF-IDF算法：

![在这里插入图片描述][b369e08298fe45729cc330e25b7264b2.png]  
TF-IDF算法受词频影响太大，  
![在这里插入图片描述][fe9ac1c71c27459cbb3f7d7185bca213.png]

因此elasticsearch5.0后，相关性打分算法采用BM25算法：

![在这里插入图片描述][e84a69f282084f958b956b47cb02d4ed.png]

小结：  
![在这里插入图片描述][b8716af3fd174842af7b73dcde8821ac.png]

当然可以人为控制文档相关性算分，从而控制文档排名（fuction score：算分函数查询），例如百度竞价，谁出价高谁就在搜索第一位。

![在这里插入图片描述][5058602b9003478fb905df24c4acee7e.png]

## 7、复合查询之Function Score Query ##

使用 [function score query][]，可以`修改文档的相关性算分`（query score），根据新得到的算分排序。

![在这里插入图片描述][6f28ead821a842a2b2bbc24eed7dc434.png]

关键点：

*  **过滤条件**：哪些文档需要算分加权
 *  **算分函数**：与query score运算后得到新的算分
 *  **加权模式**：算分函数的结果和query score如何运算，相乘、相加、替代、求和、取平均…

案例：给"如家"这个品牌的酒店排名靠前一些

比如搜外滩附近的酒店，先不给任何品牌人工加分，看下结果：

![在这里插入图片描述][f91b78d67aac46faae75d1282552ebf7.png]  
接下来过滤品牌为如家的，并给对应的文档加分，算分函数用weight，加权模式为默认的相乘：

GET /hotel/_search
    {
        
      "query": {
        
        "function_score": {
        
          "query": {
        // ... },
          "functions": [ // 算分函数
            {
        
              "filter": {
         // 满足的条件，品牌必须是如家
                "term": {
        
                  "brand": "如家"
                }
              },
              "weight": 2 // 算分权重为2
            }
          ],
          "boost_mode": "sum"
        }
      }
    }

![在这里插入图片描述][312c7202ee954e56909e56c828c54fb8.png]

可以看到外滩如家由3.8变成了38，一跃成为第一。

小结：

![在这里插入图片描述][a48129b416d9444b8f2a1f75b01fbc03.png]

## 8、复合查询之BooleanQuery ##

布尔查询是一个或多个查询子句的组合（和Function Score Query不一样，不是用来修改算分的）。子查询的组合方式有：

*  must：必须匹配must\[ \]里的每个子查询，类似“与”
 *  should：选择性匹配子查询，类似“或”
 *  must\_not：必须不匹配，不参与算分，类似“非”，常用于”不高于"、"不低于"场景
 *  filter：必须匹配，不参与算分

适用场景如：

![在这里插入图片描述][145aba6ac09e498d90345ff19f8c1890.png]

对于不参与算分的查询，就放到must\_not或者filter，减少不必要的算分，以提高查询性能。

GET /hotel/_search
    {
        
      "query": {
        
        "bool": {
           //类型为bool
          "must": [
            {
        "term": {
        "city": "上海" }}
          ],
          "should": [
            {
        "term": {
        "brand": "皇冠假日" }},
            {
        "term": {
        "brand": "华美达" }}  //这两个品牌都可以
          ],
          "must_not": [
            {
         "range": {
         "price": {
         "lte": 500 } }} //小于等于500取反，即大于500
          ],
          "filter": [
            {
         "range": {
        "score": {
         "gte": 45 } }}   //用户评分必须大于45分
          ]
        }
      }
    }

需求：搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。

GET /hotel/_search
    {
        
      "query": {
        
        "bool": {
        
          "must": [
            {
        
              "match": {
        "name": "如家"}
            }
          ],
          "must_not": [
            {
        
              "range": {
         "price": {
        "gt": 400}}
            }
          ],
          "filter": [
            {
        
              "geo_distance": {
        
                "distance": "10km", "location": {
        "lat": 31.21, "lon": 121.5}
              }
            }
          ]
        }
      }
    }

运行：

![在这里插入图片描述][4583a99bfdc442e19cba65b02103e186.png]  
将filter中的查询搬到must：

![在这里插入图片描述][6db4e6fc8ae74dbfb1f4535f3808639f.png]

小结：  
![在这里插入图片描述][1821a447f91d49088f1b17cef2f514b5.png]

到此，可以使用DSL，来从海量数据中检索出我需要的数据了！！

[Link 1]: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html
[d3a621aa7dc641d0a4f2ca1638e031a8.png]: https://img-blog.csdnimg.cn/d3a621aa7dc641d0a4f2ca1638e031a8.png
[e62d1ee366f44fcd85cf0ccf17fbaa43.png]: https://img-blog.csdnimg.cn/e62d1ee366f44fcd85cf0ccf17fbaa43.png
[71b814f6e9904f7caf705ba8df3da8c3.png]: https://img-blog.csdnimg.cn/71b814f6e9904f7caf705ba8df3da8c3.png
[d7587c8c07e444589730939b4c1dab99.png]: https://img-blog.csdnimg.cn/d7587c8c07e444589730939b4c1dab99.png
[0b0ca98cbd3c43e6a086cd1ada19b8c5.png]: https://img-blog.csdnimg.cn/0b0ca98cbd3c43e6a086cd1ada19b8c5.png
[b9b690f4612248e2b07ba722bc10cbe0.png]: https://img-blog.csdnimg.cn/b9b690f4612248e2b07ba722bc10cbe0.png
[fa0c0ccb496c4fe38f4accb24ce36e7a.png]: https://img-blog.csdnimg.cn/fa0c0ccb496c4fe38f4accb24ce36e7a.png
[caef511a5b3a48afb947192fb434fff4.png]: https://img-blog.csdnimg.cn/caef511a5b3a48afb947192fb434fff4.png
[4b4e793744c84d84b393d449ab9f61c2.png]: https://img-blog.csdnimg.cn/4b4e793744c84d84b393d449ab9f61c2.png
[8f934988b1fa4049979496c51ad275cb.png]: https://img-blog.csdnimg.cn/8f934988b1fa4049979496c51ad275cb.png
[84480fbc32e64821a98db2d45b9773a0.png]: https://img-blog.csdnimg.cn/84480fbc32e64821a98db2d45b9773a0.png
[76e255472b63474e8c9fb382d0ddc8c8.png]: https://img-blog.csdnimg.cn/76e255472b63474e8c9fb382d0ddc8c8.png
[Link 2]: https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html
[b16de1d612bc4c6d8a126cb1ac138be3.png]: https://img-blog.csdnimg.cn/b16de1d612bc4c6d8a126cb1ac138be3.png
[f02d248f53ab42a89501edcd0b7b09a6.png]: https://img-blog.csdnimg.cn/f02d248f53ab42a89501edcd0b7b09a6.png
[91d360cfed8541129837e4b414fd9e26.png]: https://img-blog.csdnimg.cn/91d360cfed8541129837e4b414fd9e26.png
[2d5207c047e146da9a577fa8a2921387.png]: https://img-blog.csdnimg.cn/2d5207c047e146da9a577fa8a2921387.png
[330a3df6a8d0483291c0008dc6298854.png]: https://img-blog.csdnimg.cn/330a3df6a8d0483291c0008dc6298854.png
[1f5d6e4be4d5410fbd0884041c510baf.png]: https://img-blog.csdnimg.cn/1f5d6e4be4d5410fbd0884041c510baf.png
[b369e08298fe45729cc330e25b7264b2.png]: https://img-blog.csdnimg.cn/b369e08298fe45729cc330e25b7264b2.png
[fe9ac1c71c27459cbb3f7d7185bca213.png]: https://img-blog.csdnimg.cn/fe9ac1c71c27459cbb3f7d7185bca213.png
[e84a69f282084f958b956b47cb02d4ed.png]: https://img-blog.csdnimg.cn/e84a69f282084f958b956b47cb02d4ed.png
[b8716af3fd174842af7b73dcde8821ac.png]: https://img-blog.csdnimg.cn/b8716af3fd174842af7b73dcde8821ac.png
[5058602b9003478fb905df24c4acee7e.png]: https://img-blog.csdnimg.cn/5058602b9003478fb905df24c4acee7e.png
[function score query]: https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-function-score-query.html
[6f28ead821a842a2b2bbc24eed7dc434.png]: https://img-blog.csdnimg.cn/6f28ead821a842a2b2bbc24eed7dc434.png
[f91b78d67aac46faae75d1282552ebf7.png]: https://img-blog.csdnimg.cn/f91b78d67aac46faae75d1282552ebf7.png
[312c7202ee954e56909e56c828c54fb8.png]: https://img-blog.csdnimg.cn/312c7202ee954e56909e56c828c54fb8.png
[a48129b416d9444b8f2a1f75b01fbc03.png]: https://img-blog.csdnimg.cn/a48129b416d9444b8f2a1f75b01fbc03.png
[145aba6ac09e498d90345ff19f8c1890.png]: https://img-blog.csdnimg.cn/145aba6ac09e498d90345ff19f8c1890.png
[4583a99bfdc442e19cba65b02103e186.png]: https://img-blog.csdnimg.cn/4583a99bfdc442e19cba65b02103e186.png
[6db4e6fc8ae74dbfb1f4535f3808639f.png]: https://img-blog.csdnimg.cn/6db4e6fc8ae74dbfb1f4535f3808639f.png
[1821a447f91d49088f1b17cef2f514b5.png]: https://img-blog.csdnimg.cn/1821a447f91d49088f1b17cef2f514b5.png