elasticsearch系列--查询操作

女爷i 2023-07-02 05:26 128阅读 0赞

在上一篇中，我们介绍了elasticsearch中的基本概念与索引、mappings、文档的初始化、查询、删除与修改操作。本篇我们继续介绍elasticsearch中的文档查询操作。

### 根据关键词查询 ###

在elasticsearch中，可以根据关键词来对文档进行查询筛选。在postman中操作，使用POST方式请求，url形式：http://ip:port/$\{index\_name\}/$\{type\}/\_search，body参数如下所示。

{
    	"query" : {
    		"term" : {
    			"house_name" : "反"
    		}
    	}
    }

从参数中我们可以看出，使用的为关键字(term)查询，查询结果如下所示。

{
        "took": 6,
        "timed_out": false,
        "_shards": {
            "total": 3,
            "successful": 3,
            "skipped": 0,
            "failed": 0
        },
        "hits": {
            "total": 1,
            "max_score": 1.4948782,
            "hits": [
                {
                    "_index": "20200120_xinghaol",
                    "_type": "house",
                    "_id": "10",
                    "_score": 1.4948782,
                    "_source": {
                        "house_id": 300001121,
                        "house_guid": "45cde18f-ae7b-44de-9a0b-a358470425fa",
                        "house_name": "的反反复复"
                    }
                }
            ]
        }
    }

在之前我们设置mappings的时候，使用的分析器为标准分析器(standard)，而使用标准分析器的关键字查询，中文仅支持单字查询。在使用term方式，查询中文文档，指定多个文字时，是查询不到结果的，如下图所示。  
![term搜索时多个汉字][term]

### queryString查询 ###

在elasticsearch中还可以使用字符串进行查询，即queryString查询。在使用字符串查询时，需要指定默认查询的字段，在query时字符串会先被分词再用于搜索。以POST方式请求，url请求形式：http://ip:port/$\{index\_name\}/$\{type\_name\}/\_search，body参数如下所示，使用"defaule\_field"指定默认查询字段，使用"query"来指定查询使用的字符串。

{
    	"query" : {
    		"query_string" : {
    			"default_field" : "house_name",
    			"query" : "我修改的房屋"
    		}
    	}
    }

在query字符串中，会先分词再查询。查看分词效果，在这里需要注意elasticsearch的版本号，不同的版本号查看分词效果的url请求形式可能有所不同。在elasticsearch 5.\*版本中可以使用如下url形式：http://ip:port/\_analyze?analyzer=standard&text=手机充值；在elasticsearch 6.\*版本中请求的url有所不同，请求url形式：http://ip:port/\_analyze?pretty=true，同时需要body参数，body参数如下所示。

{
    	"analyzer" : "standard",
    	"text" : "我是一个中国人"
    }

返回结果则为分词效果，返回结果如下所示。

{
        "tokens": [
            {
                "token": "我",
                "start_offset": 0,
                "end_offset": 1,
                "type": "<IDEOGRAPHIC>",
                "position": 0
            },
            {
                "token": "是",
                "start_offset": 1,
                "end_offset": 2,
                "type": "<IDEOGRAPHIC>",
                "position": 1
            },
            {
                "token": "一",
                "start_offset": 2,
                "end_offset": 3,
                "type": "<IDEOGRAPHIC>",
                "position": 2
            },
            {
                "token": "个",
                "start_offset": 3,
                "end_offset": 4,
                "type": "<IDEOGRAPHIC>",
                "position": 3
            },
            {
                "token": "中",
                "start_offset": 4,
                "end_offset": 5,
                "type": "<IDEOGRAPHIC>",
                "position": 4
            },
            {
                "token": "国",
                "start_offset": 5,
                "end_offset": 6,
                "type": "<IDEOGRAPHIC>",
                "position": 5
            },
            {
                "token": "人",
                "start_offset": 6,
                "end_offset": 7,
                "type": "<IDEOGRAPHIC>",
                "position": 6
            }
        ]
    }

由返回结果可以看出，标准分析器对于中文的支持并不好，会将中文拆分为每个字，所以如果以term方式查询文档时，使用多汉字时并不能查询到任何结果。接下来我们看看标准分析器对英文的分词效果。请求body参数如下所示。

{
    	"analyzer" : "standard",
    	"text" : "Whatever is worth doing is worth doing well"
    }

返回结果如下所示。

{
        "tokens": [
            {
                "token": "whatever",
                "start_offset": 0,
                "end_offset": 8,
                "type": "<ALPHANUM>",
                "position": 0
            },
            {
                "token": "is",
                "start_offset": 9,
                "end_offset": 11,
                "type": "<ALPHANUM>",
                "position": 1
            },
            {
                "token": "worth",
                "start_offset": 12,
                "end_offset": 17,
                "type": "<ALPHANUM>",
                "position": 2
            },
            {
                "token": "doing",
                "start_offset": 18,
                "end_offset": 23,
                "type": "<ALPHANUM>",
                "position": 3
            },
            {
                "token": "is",
                "start_offset": 24,
                "end_offset": 26,
                "type": "<ALPHANUM>",
                "position": 4
            },
            {
                "token": "worth",
                "start_offset": 27,
                "end_offset": 32,
                "type": "<ALPHANUM>",
                "position": 5
            },
            {
                "token": "doing",
                "start_offset": 33,
                "end_offset": 38,
                "type": "<ALPHANUM>",
                "position": 6
            },
            {
                "token": "well",
                "start_offset": 39,
                "end_offset": 43,
                "type": "<ALPHANUM>",
                "position": 7
            }
        ]
    }

从英文的分词效果来看，可以将每个单词分离出来，效果要比分词中文好很多。

### IK分词器 ###

上面我们使用标准分析器可以看到对于中文分词并不理想，可以使用IK分词器来支持对中文的分词。

#### IK分词器简介 ####

#### IK分词器安装 ####

小编现在使用阿里云搭建elasticsearch，现在在阿里云上安装IK分词器。首选使用下面的语句下载IK分词器，注意下载IK分词器的版本需要和自己安装的elasticsearch的版本相同。

wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.1/elasticsearch-analysis-ik-6.6.1.zip

下载完成后，需要将下载得到的zip包在elasticsearch安装目录下的plugins目录下进行解压，重新启动elasticsearch，观察日志中是否有以下图片中标识所示的加载ik分析器。  
![安装IK分析器][IK]

#### 测试IK分词器分词效果 ####

安装IK分词器完成后，测试IK分词器的分词效果。在IK分词器中提供了两种分词算法：ik\_smart和ik\_max\_word。ik\_smart分词为最少切分，分词的数目较少；而ik\_max\_word为最细粒度划分，分词的数目较多。下面我们来分别测试一下两种分词算法，创建一个使用IK分词器的索引库，body参数如下所示，指定analyzer时使用了ik\_smart分词器。

{
    	"settings": {
        "number_of_shards": 3,
        "number_of_replicas": 0
      } ,
    	"mappings" : {
    		"house" : {
    			"properties" : {
    				"house_id" : {
    					"type" : "long",
    					"store" : true	
    				},
    				"house_guid" : {
    					"type" : "text",
    					"store" : true,
    					"analyzer" : "ik_smart"
    				},
    				"house_name" : {
    					"type" : "text",
    					"store" : true,
    					"analyzer" : "ik_smart"
    				}
    			}
    		}
    	}
    }

向新创建的索引中添加几个文档后，通过elasticsearch-head浏览数据，结果如下所示。  
![IK分词数据浏览][IK 1]  
使用term方式搜索文档，body参数参数如下所示。

{
    	"query" : {
    		"term" : {
    			"house_name" : "小屋"
    		}
    	}
    }

得到的返回值结果如下所示。

{
        "took": 7,
        "timed_out": false,
        "_shards": {
            "total": 3,
            "successful": 3,
            "skipped": 0,
            "failed": 0
        },
        "hits": {
            "total": 2,
            "max_score": 0.5442147,
            "hits": [
                {
                    "_index": "20200126_xinghaol",
                    "_type": "house",
                    "_id": "_qKD4W8B_U5NYZ_pxwQW",
                    "_score": 0.5442147,
                    "_source": {
                        "house_id": 300001123,
                        "house_guid": "94fd1350-1423-44b4-8bd9-9eece1da9e16",
                        "house_name": "龙卷风小屋"
                    }
                },
                {
                    "_index": "20200126_xinghaol",
                    "_type": "house",
                    "_id": "_aKC4W8B_U5NYZ_prARI",
                    "_score": 0.47000363,
                    "_source": {
                        "house_id": 300001122,
                        "house_guid": "94fd1350-1423-44b4-8bd9-9eece1da9e15",
                        "house_name": "爱的小屋"
                    }
                }
            ]
        }
    }

通过返回值结果可以看出以关键词“小屋”查询除了包含小屋的两条文档记录。下面通过“小数点价格房屋”，看一下在ik\_smart情况下，是如何进行分词的，body请求参数如下所示。

{
    	"analyzer" : "ik_smart",
    	"text" : "小数点价格房屋"
    }

得到返回值如下所示。

{
        "tokens": [
            {
                "token": "小数点",
                "start_offset": 0,
                "end_offset": 3,
                "type": "CN_WORD",
                "position": 0
            },
            {
                "token": "价格",
                "start_offset": 3,
                "end_offset": 5,
                "type": "CN_WORD",
                "position": 1
            },
            {
                "token": "房屋",
                "start_offset": 5,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 2
            }
        ]
    }

下面我们看一下如果使用ik\_max\_word分词策略，是否会有所不同，得到的返回值如下所示。

{
        "tokens": [
            {
                "token": "小数点",
                "start_offset": 0,
                "end_offset": 3,
                "type": "CN_WORD",
                "position": 0
            },
            {
                "token": "小数",
                "start_offset": 0,
                "end_offset": 2,
                "type": "CN_WORD",
                "position": 1
            },
            {
                "token": "数点",
                "start_offset": 1,
                "end_offset": 3,
                "type": "CN_WORD",
                "position": 2
            },
            {
                "token": "价格",
                "start_offset": 3,
                "end_offset": 5,
                "type": "CN_WORD",
                "position": 3
            },
            {
                "token": "房屋",
                "start_offset": 5,
                "end_offset": 7,
                "type": "CN_WORD",
                "position": 4
            }
        ]
    }

从结果中可以看到使用ik\_smart和ik\_max\_word两种策略对“小数点价格房屋”分词结果并不相同。在ik\_smart分词策略中，仅仅分词为：“小数点”、“价格”、“房屋”三个词语；而在ik\_max\_word分词策略中，分词为：“小数点”、“小数”、“数点”、“价格”、“房屋”五个词。

### 小节 ###

本篇介绍了通过关键词和字符串方式搜索文档，当然elasticsearch还支持fuzzy(模糊搜索)、range(范围搜索)和missing方式搜索。在下一篇我们将介绍通过Java客户端来操作elasticsearch。

[term]: https://img-blog.csdnimg.cn/20200126214134265.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MTM1NDIx,size_16,color_FFFFFF,t_70
[IK]: https://img-blog.csdnimg.cn/20200126214906377.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MTM1NDIx,size_16,color_FFFFFF,t_70
[IK 1]: https://img-blog.csdnimg.cn/20200126215027727.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MTM1NDIx,size_16,color_FFFFFF,t_70