redis用HyperLogLog计算UV

柔光的暖阳◎ 2023-06-15 13:28 7阅读 0赞

UV：unique visitor，独立访客，数据去重  
DV：distinct value，去重统计，如上面的UV。

用redis的set去重，用户多时，比如微信月活10亿，就会占用很多内存。  
用HyperLogLog，最多12k内存，可以统计2^64=100亿亿个值，当然是模糊统计，误差0.81%。  
对于UV，可以有误差，比如10亿和10亿一千万，差别不大。

## 使用 ##

public Object publishHyperLog() { 
            HyperLogLogOperations<String, String> hyperLogLogOperations = redisTemplate.opsForHyperLogLog();
            hyperLogLogOperations.delete(RedisConstant.STATIS_UV);
    
            //可以去重
            for (int j = 0; j < 2; j++) { 
                for (int i = 0; i < 1000; i++) { 
                    hyperLogLogOperations.add(RedisConstant.STATIS_UV, i + "");
                }
            }
    
            Long size = hyperLogLogOperations.size(RedisConstant.STATIS_UV);
            System.out.println(size);//1000
            return size;
        }

## 原理 ##

把数值hash成64位bit串，低14位作为桶的编号，共有2^14=16384个桶。  
高50位寻找第一个1出现的位置，估计数据基数。  
然后所有桶的基数求调和平均数，分桶为了降低误差。

算法刚开始时候，大部分桶是0，稀疏格式存储连续0的个数，不是每个0存储，减少空间。后来变成紧凑格式，每个都存储。

当数据少时候，估算误差很大，用另一个近似值

## java模拟算法 ##

## 扩展 ##

1.  探索HyperLogLog算法，https://www.jianshu.com/p/55defda6dcd2
2.  算法仿真，http://content.research.neustar.biz/blog/hll.html
3.  redis源码，

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis：UV统计（HyperLogLog使用）

Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。相关算法原理大家可以参考：[https://juejin.

桃扇骨/ 2024年03月24日 08:30/ 0 赞/ 67 阅读

相关如何用 Redis 中的 HyperLogLog 统计页面 UV?

HyperLogLog（HLL）是 Redis 中一种用于基数估计的数据结构，适合用于统计唯一值（Unique Values）。在页面 UV 统计中，可以使用 HyperLog

╰半夏微凉°/ 2024年02月05日 16:43/ 0 赞/ 52 阅读

相关【Redis】HyperLogLog数据类型与UV统计的实现

目录一、UV 1、UV 2、PV 二、HyperLogLog 1、概念 2、命令 1.PFADD 2.PFCOUNT 三、实现思路 1、需求 2、实现

以你之姓@/ 2023年10月12日 08:31/ 0 赞/ 60 阅读

相关 redis用HyperLogLog计算UV

UV：unique visitor，独立访客，数据去重 DV：distinct value，去重统计，如上面的UV。用redis的set去重，用户多时，比如微信月活10

柔光的暖阳◎/ 2023年06月15日 13:28/ 0 赞/ 8 阅读

相关 Redis HyperLogLog

Redis HyperLogLog 是用来做基数统计的算法。优点是：在输入元素的数量或者体积非常大时，计算基数所需的空间总是固定的，并且是很小的。在 Redis 里面，每个 H

悠悠/ 2022年09月16日 11:23/ 0 赞/ 211 阅读

相关 Redis-HyperLogLog

HyperLogLog命令是redis在2.8版本中加入的，Redis中HyperLogLog是用来做基数统计的。 HyperLogLog 的优点是，在输入元素的数量或者体积

比眉伴天荒/ 2022年05月22日 10:28/ 0 赞/ 174 阅读

相关【Redis】HyperLogLog-记录UV

Redis 提供了 HyperLogLog 数据结构就是用来解决这种统计问题的。HyperLogLog 提供不精确的去重计数方案，虽然不精确但是也不是非常不精确，标准误差是 0

快来打我*/ 2022年03月15日 08:56/ 0 赞/ 191 阅读

相关 Redis-HyperLogLog

关于基数统计维基百科解释： > cardinality of a set is a measure of the “number of elements“ of th

淡淡的烟草味﹌/ 2021年09月25日 11:18/ 0 赞/ 367 阅读

相关 Redis HyperLogLog 统计UV / 去重统计 /基数统计

Redis 在 2.8.9 版本添加了 HyperLogLog 结构。 Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输

谁借莪１个温暖的怀抱￠/ 2021年09月25日 03:32/ 0 赞/ 371 阅读

相关 Redis--HyperLogLog常用命令

Redis HyperLogLog常用命令基数是一种算法。举个例子，一本英文著作由数百万个单词组成，你的内存却不足以存储它们，那么我们先分析一下业务。英文单词本身是

野性酷女/ 2021年08月13日 14:45/ 0 赞/ 378 阅读