Elasticsearch cardinality存在误差

亦凉 2022-12-17 07:18 167阅读 0赞

# Elasticsearch cardinality存在误差  #

# **概述** #

cardinality 度量是一个近似算法。 它是基于 HyperLogLog++ （HLL）算法的。 HLL 会先对我们的输入作哈希运算，然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。

优点：性能快，亿级别的记录在1秒内完成

缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景

1、示例：

GET /myindex/mytype/_search
    {
        "size" : 0,
        "aggs" : {
            "distinct_colors" : {
                "cardinality" : {
                  "field" : "idCard",
                  "precision_threshold" : 100 
                }
            }
        }
    }

上面代码是ES 按照idCard去重,统计结果count(distinct)，这个统计结果会随你的数据条数发生变化，会存在误差。

如果你统计的数据有100万条，idCard 唯一计数大于100，想对这100万条中的用户身份进行去重。上面的结果会存在5%的误差。

如果你的数据只有100条数据，idCard 唯一计数小于100，那么这个统计结果准确率100%。

那么唯一计数在多少以内，这个准确率几乎能达到100%呢？

precision\_threshold：接受 0–40000 之间的数字，更大的值还是会被当作 40000 来处理。

precision\_threshold值设置的越大，占用内存越大。

对于指定的阈值，HLL 的数据结构会大概使用 `precision_threshold * 8` 字节的内存，所以就必须在牺牲内存和获得额外的准确度间做平衡。

比如你查询的结果又10000条数据，里面唯一计数为9800，你设置的`precision_threshold `=10000，你需要牺牲掉

10000 \* 8 = 80000/1000=80KB的内存来取保结果准确率。

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 Elasticsearch 去重统计 cardinality去重复

Elasticsearch 去重统计按照deviceId 去重统计总数相当于SQL SELECT COUNT(DISTINCT deviceId ?) FROM

た入场券/ 2024年04月07日 12:09/ 0 赞/ 83 阅读

相关 elasticsearch global 、 filters 和 cardinality 聚合

文章目录 1. 背景 2、解释 1、global 2、filters 3、cardinality 3、需求

た入场券/ 2024年03月31日 17:11/ 0 赞/ 39 阅读

相关 Elasticsearch Exists query – 存在查询

这种查询返回包含字段索引值的文档。简单的来说，就是查询文档中是否包含`field`指定的字段；这个查询只有一个参数，field：要搜索的字段的名词 1. 如果为`nu

╰+哭是因爲堅強的太久メ/ 2023年02月12日 06:28/ 0 赞/ 17 阅读

相关 Elasticsearch cardinality存在误差

Elasticsearch cardinality存在误差概述 cardinality 度量是一个近似算法。它是基于 HyperLogLog++ （HLL）算

亦凉/ 2022年12月17日 07:18/ 0 赞/ 168 阅读

相关平均误差、相对误差百分数、均方根误差

一、平均误差 average(反演值-真值）反演值就是通过模型反演出来的值，也就是理想值，而真值就是实际测出来的值。二、相对误差百分数 average\{A

╰+攻爆jí腚メ/ 2022年11月11日 05:29/ 0 赞/ 437 阅读

相关 Docker 容器时间和系统时间存在误差解决方法

问题描述： docker容器的时间和系统时间存在8小时误差，容器使用UTC时区，系统使用CST时区时间原因分析及解决方法创建容器的时候就应该使用`-v /etc/

谁践踏了优雅/ 2022年05月25日 05:18/ 0 赞/ 675 阅读

相关 show index 之Cardinality (mysql)

mysql show index 之Cardinality 官方文档的解释： Cardinality An estimate of the number

太过爱你忘了你带给我的痛/ 2022年04月12日 13:26/ 0 赞/ 171 阅读

相关误差值

0.1 + 0.2 === 0.3 表达式的值是false 这个表达式的计算结果为 `false` ，这是因为 JavaScript 遵循 IEEE 754 数学标准，使用

怼烎@/ 2022年03月01日 11:59/ 0 赞/ 223 阅读

相关 ElasticSearch教程——cardinality（去重）算法之优化内存开销以及HLL算法

ElasticSearch汇总请查看：[ElasticSearch教程——汇总篇][ElasticSearch] 说明，一般使用第一种和第二种方法，很少使用第三种HLL优化（

青旅半醒/ 2021年09月27日 20:58/ 0 赞/ 916 阅读

相关 Elasticsearch教程，Elasticsearch count 查询，Elasticsearch 查询是否存在

[https://www.sojson.com/blog/206.html][https_www.sojson.com_blog_206.html] 一、Elasti

小鱼儿/ 2021年07月04日 19:23/ 0 赞/ 799 阅读