elasticsearch聚合之bucket terms聚合

r囧r小猫 2024-04-01 17:55 79阅读 0赞

#### 文章目录 ####

*  1. 背景
 *  2. 前置条件
 *   *  2.1 创建索引
     *  2.2 准备数据
 *  3. 各种聚合
 *   *  3.1 统计人数最多的2个省
     *   *  3.1.1 dsl
         *  3.1.2 运行结果
     *  3.2 统计人数最少的2个省
     *   *  3.2.1 dsl
         *  3.2.2 运行结果
     *  3.3 根据字段值排序-根据年龄聚合，返回年龄最小的2个聚合
     *   *  3.3.1 dsl
         *  3.3.2 运行结果
     *  3.4 子聚合排序-先根据省聚合，然后根据每个聚合后的最小年龄排序
     *   *  3.4.1 dsl
         *  3.4.2 运行结果
     *  3.5 脚本聚合-根据省聚合，如果地址中有黄冈市则需要出现黄冈市
     *   *  3.5.1 dsl
         *  3.5.2 运行结果
     *  3.6 filter-以省分组，并且只包含北的省，但是需要排除湖北省
     *   *  3.6.1 dsl
         *  3.6.2 运行结果
     *  3.7 多term聚合-根据省和性别聚合，然后根据最大年龄倒序
     *   *  3.7.1 dsl
         *  3.7.2 运行结果
     *  3.8 missing value 处理
     *  3.9 多个聚合-同时返回根据省聚合和根据性别聚合
     *   *  3.9.1 dsl
         *  3.9.2 运行结果
 *  4. 总结
 *   *  4.1 可以聚合的字段
     *  4.2 如果我们想返回所有的聚合Term结果
     *  4.3 聚合数据不准
     *  4.4 排序注意事项
     *   *  4.4.1 \_count 排序
         *  4.4.2 字段值排序
         *  4.4.3 子聚合排序
     *  4.5 多term聚合
 *  5、源码地址
 *  6. 参考链接

## 1. 背景 ##

此处简单记录一下`bucket`聚合下的`terms`聚合。记录一下`terms`聚合的各种用法，以及各种注意事项，防止以后忘记。

## 2. 前置条件 ##

### 2.1 创建索引 ###

PUT /index_person
    {
      "settings": {
        "number_of_shards": 1
      },
      "mappings": {
        "properties": {
          "id": {
            "type": "long"
          },
          "name": {
            "type": "keyword"
          },
          "sex": {
            "type": "keyword"
          },
          "age": {
            "type": "integer"
          },
          "province": {
            "type": "keyword"
          },
          "address": {
            "type": "text",
            "analyzer": "ik_max_word",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }

### 2.2 准备数据 ###

PUT /_bulk
    {"create":{"_index":"index_person","_id":1}}
    {"id":1,"name":"张三","sex":"男","age":20,"province":"湖北","address":"湖北省黄冈市罗田县匡河镇"}
    {"create":{"_index":"index_person","_id":2}}
    {"id":2,"name":"李四","sex":"男","age":19,"province":"江苏","address":"江苏省南京市"}
    {"create":{"_index":"index_person","_id":3}}
    {"id":3,"name":"王武","sex":"女","age":25,"province":"湖北","address":"湖北省武汉市江汉区"}
    {"create":{"_index":"index_person","_id":4}}
    {"id":4,"name":"赵六","sex":"女","age":30,"province":"北京","address":"北京市东城区"}
    {"create":{"_index":"index_person","_id":5}}
    {"id":5,"name":"钱七","sex":"女","age":16,"province":"北京","address":"北京市西城区"}
    {"create":{"_index":"index_person","_id":6}}
    {"id":6,"name":"王八","sex":"女","age":45,"province":"北京","address":"北京市朝阳区"}

## 3. 各种聚合 ##

### 3.1 统计人数最多的2个省 ###

#### 3.1.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "province",
            "size": 2
          }
        }
      }
    }

#### 3.1.2 运行结果 ####

![运行结果][5f60ff4a538a40c4a1f31b5be4a7e111.png]

### 3.2 统计人数最少的2个省 ###

#### 3.2.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "province",
            "size": 2,
            "order": {
              "_count": "asc"
            }
          }
        }
      }
    }

**注意：** 不推荐使用 `_count:asc`来统计，`会导致统计结果不准`，看下方的总结章节。

#### 3.2.2 运行结果 ####

![运行结果][0db948574264425dad763c0632469590.png]

### 3.3 根据字段值排序-根据年龄聚合，返回年龄最小的2个聚合 ###

#### 3.3.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "age",
            "size": 2,
            "order": {
              "_key": "asc"
            }
          }
        }
      }
    }

**注意：** 这种根据字段值来排序，聚合的结果是正确的。

#### 3.3.2 运行结果 ####

![运行结果][344e41de73d94e15afc7f99ec1a1d637.png]

### 3.4 子聚合排序-先根据省聚合，然后根据每个聚合后的最小年龄排序 ###

#### 3.4.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "province",
            "order": {
              "min_age": "asc"
            }
          },
          "aggs": {
            "min_age": {
              "min": {
                "field": "age"
              }
            }
          }
        }
      }
    }
    
    GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "province",
            "order": {
              "min_age.min": "asc"
            }
          },
          "aggs": {
            "min_age": {
              "stats": {
                "field": "age"
              }
            }
          }
        }
      }
    }

**注意：** 子聚合排序一般也是不准的，但是如果是根据子聚合的`最大值倒序`和`最小值升序`又是准的。

#### 3.4.2 运行结果 ####

![运行结果][5eafa013d8e0434caede4503c28dfa65.png]

### 3.5 脚本聚合-根据省聚合，如果地址中有黄冈市则需要出现黄冈市 ###

#### 3.5.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      
      "runtime_mappings": {
        "province_sex": {
          "type": "keyword",
          "script": """
              String province = doc['province'].value;
              String address = doc['address.keyword'].value;
              if(address.contains('黄冈市')){
                emit('黄冈市');
              }else{
                emit(province);
              }
          """
        }
      }, 
      
      "aggs": {
        "agg_sex": { 
          "terms": { 
            "field": "province_sex"
          }
        }
      }
    }

![注意事项][8064a9b550d54ea684c5eeb0fdbe43cc.png]

#### 3.5.2 运行结果 ####

![运行结果][a056314b31594bcda655c6e7a364dc70.png]

### 3.6 filter-以省分组，并且只包含北的省，但是需要排除湖北省 ###

#### 3.6.1 dsl ####

GET /index_person/_search
    {
      "size": 0, 
      "aggs": {
        "agg_province": { 
          "terms": { 
            "field": "province",
            "include": ".*北.*",
            "exclude": ["湖北"]
          }
        }
      }
    }

**注意：** 当是字符串时，可以写正则表达式，当是数组时，需要写具体的值。

#### 3.6.2 运行结果 ####

![运行结果][befeefb6dcab442897978256bece7c73.png]

### 3.7 多term聚合-根据省和性别聚合，然后根据最大年龄倒序 ###

#### 3.7.1 dsl ####

GET /index_person/_search
    {
      "size": 0,
      "aggs": {
        "genres_and_products": {
          "multi_terms": {
            "size": 10,
            "shard_size": 25,
            "order":{
              "max_age": "desc"    
            },
            "terms": [
              {
                "field": "province",
                "missing": "defaultProvince"
              },
              {
                "field": "sex"
              }
            ]
          },
          "aggs": {
            "max_age": {
              "max": {
                "field": "age"
              }
            }
          }
        }
      }
    }

**注意：** `terms`聚合默认不支持多字段聚合，需要借助别的方式。此处使用`multi terms`来实现多字段聚合。

#### 3.7.2 运行结果 ####

![运行结果][14448c7b557448bb9716a01f9bbfa42b.png]

### 3.8 missing value 处理 ###

![missing value 处理][missing value]

### 3.9 多个聚合-同时返回根据省聚合和根据性别聚合 ###

#### 3.9.1 dsl ####

GET /index_person/_search
    {
      "size": 0,
      "aggs": {
        "agg_province": {
          "terms": {
            "field": "province"
          }
        },
        "agg_sex":{
          "terms": {
            "field": "sex",
            "size": 10
          }
        }
      }
    }

#### 3.9.2 运行结果 ####

![运行结果][947b98498cfa444cad6e17b91110211c.png]

## 4. 总结 ##

### 4.1 可以聚合的字段 ###

一般情况下，只有如下几种字段类型可以进行聚合操作 `keyword`,`numeric`,`ip`,`boolean`和`binary`类型的字段。`text`类型的字段默认情况下是不可以进行聚合的，如果需要聚合，需要开启`fielddata`。  
![可以聚合的字段][a3d88997183848d78a67335b848d85d9.png]

### 4.2 如果我们想返回所有的聚合Term结果 ###

如果我们只想返回`100`或`1000`个唯一结果，可以增大`size`参数的值。但是如果我们想返回所有的，那么推荐使用 [composite aggregation][]  
![如果我们想返回所有的聚合Term结果][Term]

### 4.3 聚合数据不准 ###

我们通过`terms`聚合到的结果是一个大概的结果，不一定是完全正确的。  
`为什么？`.  
**举个例子：** 如果我们的集群有3个分片，此处我们想返回值最高的5个统计。即`size=5`，假设先不考虑`shard_size`参数，那么此时每个节点会返回值最高的5个统计，然后再次聚合，返回，返回最终值最高的5个。这个貌似没什么问题，但是因为我们的数据是分布es的各个节点上的，可能某个统计项(`北京市的用户数`)，在A节点是是排名前5，但是在B节点上不是排名前5，那么最终的统计结果是否是就会漏统计了。

`如何解决：`  
我们可以让es在每个节点上多返回几个结果，`比如`：我们的`size=5`，那么我们每个节点就返回 `size * 1.5 + 10` 个结果，那么误差相应的就会减少。 而这个`size * 1.5 + 10`就是`shard_size`的值，当然我们也可以手动指定，但一般需要比size的值大。

![聚合数据不准][3433ec52f1a6431a88a9ba843ee4505b.png]

### 4.4 排序注意事项 ###

#### 4.4.1 \_count 排序 ####

默认情况下，使用的是 `_count` 倒序的，但是我们可以指定成升序，但是这是不推荐的，会导致错误结果。如果我们想要升序，可以使用 `rare_terms`聚合。  
![\_count排序注意事项][count]

#### 4.4.2 字段值排序 ####

使用字段值排序，不管是正序还是倒序，结果是准确的。  
![字段值排序][45b028f150194f5180a6861178512b86.png]

#### 4.4.3 子聚合排序 ####

![子聚合排序][d65179dbdfa54e899a7feed9c38e6537.png]

### 4.5 多term聚合 ###

![多term聚合][term]

## 5、源码地址 ##

[https://gitee.com/huan1993/spring-cloud-parent/blob/master/es/es8-api/src/main/java/com/huan/es8/aggregations/bucket/TermsAggs.java][https_gitee.com_huan1993_spring-cloud-parent_blob_master_es_es8-api_src_main_java_com_huan_es8_aggregations_bucket_TermsAggs.java]

## 6. 参考链接 ##

1.  [https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_search-aggregations-bucket-terms-aggregation.html]
2.  [https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html][https_www.elastic.co_guide_en_elasticsearch_reference_current_search-aggregations-bucket-multi-terms-aggregation.html]

[5f60ff4a538a40c4a1f31b5be4a7e111.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4924a286abb94f42a255ab4bd1d69fb7.png
[0db948574264425dad763c0632469590.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/35e847684ed348bfb61db3b48595542f.png
[344e41de73d94e15afc7f99ec1a1d637.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2fc5cfe4023c4016a99fa30222c7ed0c.png
[5eafa013d8e0434caede4503c28dfa65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3a1640820de14fe7bb3ca041ecdcfe04.png
[8064a9b550d54ea684c5eeb0fdbe43cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/3e0d4f10952b46b09ae179480e6adefc.png
[a056314b31594bcda655c6e7a364dc70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b61e070ebb04457da6e482b1de347d10.png
[befeefb6dcab442897978256bece7c73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/ffe5f0fbd8c1403db6afc5d37836e559.png
[14448c7b557448bb9716a01f9bbfa42b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/38f74bddafed4a288cfaae67312a23b6.png
[missing value]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/84de6aa5b9904019a190409cd96d4a3e.png
[947b98498cfa444cad6e17b91110211c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/b6885c1293bb476db9545226682c1c50.png
[a3d88997183848d78a67335b848d85d9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/17fc3bdad09a4c13b95c1535bc228906.png
[composite aggregation]: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-composite-aggregation.html
[Term]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/63c9c7480b6648be8b2e6aeabca6d02a.png
[3433ec52f1a6431a88a9ba843ee4505b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/1bbc73d196f94e7b8e3378db9ec3bf17.png
[count]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/2e5d0720db2b49c19e8ad62267626479.png
[45b028f150194f5180a6861178512b86.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8e00b76932ab467183deb5fef06547fd.png
[d65179dbdfa54e899a7feed9c38e6537.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/4830c4e856fc488fad30d1cb928790e0.png
[term]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/63bded39eac2422c903a4ecf82b45f90.png
[https_gitee.com_huan1993_spring-cloud-parent_blob_master_es_es8-api_src_main_java_com_huan_es8_aggregations_bucket_TermsAggs.java]: https://gitee.com/huan1993/spring-cloud-parent/blob/master/es/es8-api/src/main/java/com/huan/es8/aggregations/bucket/TermsAggs.java
[https_www.elastic.co_guide_en_elasticsearch_reference_current_search-aggregations-bucket-terms-aggregation.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html
[https_www.elastic.co_guide_en_elasticsearch_reference_current_search-aggregations-bucket-multi-terms-aggregation.html]: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html