Elasticsearch Aggregations使用总结

骑猪看日落 2022-05-31 08:59 244阅读 0赞

# 1.前言 #

最近需要基于ES做一些统计分析的报表，所以对其聚合功能做了一些了解，发现功能挺强大，能够从大量数据中对指标做一些复杂的统计分析，而且只需简单的调用一个API就能实现，这里将学习和使用的过程做个简单的总结。

# 2. Aggregations基础 #

掌握Aggregations需要明白的两个主要概念：  
桶（Buckets）：满足特定条件的文档的集合，类似于SQL中的group by。  
指标（Metrics）：对桶内的文档进行统计计算，类似于SQL中的count()、sum()、max()等聚合函数。  
每个聚合都是由一个或者多个桶和零个或者多个指标的组合而成。 Metric Aggregations常用的有min、max、avg、sum、cardinality等，Bucket Aggregations常用的有terms、range、histogram等。下面是一个聚合的例子：

{
        "size": 0, 
        "aggs": { "grade": { "terms": { "field": "grade" }, "aggs": { "avg_score": { "avg": { "field": "score" } } } } } }

其语义类似这个sql语句：select grade,avg(score) from table group by grade。  
Elasticsearch使用一个叫doc values的数据结构来做聚合，是一种列式存储的正向索引。doc values是持久化存储在文件中，并且是预先构建的,也就是数据进入到Elasticsearch时，就会同时生成反向索引和doc values，这会消耗额外的存储空间，但对于JVM的内存需求会大幅度减少，剩余的内存可以留给操作系统的文件缓存使用。

# 3.常见问题 #

3.1 多个filed的聚合  
类似SQL中要group by多个字段，其实aggregation的bucket的嵌套（桶中桶）也相当于聚合多个filed。另外还有下面两种方式：1.在aggregation中可以通过script来实现。假设现在有两个field f和g，则aggregation如下：

"aggs": {
        "t": {
            "terms": {
                "script": "doc['f'].values + doc['g'].values" } } }

2.也可以通过copy\_to在索引建立期间将多个filed合并成一个，然后只对这一个filed做aggregation：

"mappings": {
        "test": {
          "properties": {
            "f": {
              "type": "string",
              "index": "not_analyzed",
              "copy_to": "f_and_g"
            },
            "g": {
              "type": "string",
              "index": "not_analyzed",
              "copy_to": "f_and_g"
            },
            "f_and_g": {
              "type": "string",
              "index": "not_analyzed"
            }
          }
        }
      }

"aggs": {
        "t": {
          "terms": {
            "field": "f_and_g"
          }
        }
      }

3.2 aggregations不支持分页查询  
出于性能等各方面因素的考虑，Elasticsearch Aggregations是不支持分页查询的，具体可以见：  
[https://github.com/elastic/elasticsearch/issues/4915][https_github.com_elastic_elasticsearch_issues_4915]

3.3 分析对聚合的影响  
如果字符串字段是analyzed的，在indexing时会被分词器切割成多个tokens，而doc values不能用于分析字符串，在做比如terms这样的聚合时，会使用一种被称为fielddata 的数据结构统计出一些意料之外的结果。解决办法是再为该字段定义multifield并且设置成not\_analyzed：

"mappings": {
        "data": {
          "properties": {
            "filed_name" : {
              "type": "string",
              "fields": {
                "raw" : {
                  "type": "string",
                  "index": "not_analyzed"
                }
              }
            }
          }
        }
      }

"size" : 0,
      "aggs" : {
        "t" : {
            "terms" : {
                "field" : "field_name.raw" 
            }
        }
      }

与doc values不同，fielddata 构建和管理 100% 在内存中，常驻于 JVM 内存堆。这意味着它本质上是不可扩展的，有很多边缘情况下要提防。fielddata 是 所有 字段的默认设置。但是 Elasticsearch 已迁移到 doc values 以减少 OOM 的几率。分析的字符串是仍然使用 fielddata 的最后一块阵地。 最终目标是建立一个序列化的数据结构类似于 doc values ，可以处理高维度的分析字符串，逐步淘汰 fielddata。

[https_github.com_elastic_elasticsearch_issues_4915]: https://github.com/elastic/elasticsearch/issues/4915