点评项目最后一篇：基于HyperLogLog实现UV统计

矫情吗；* 2024-03-22 14:03 91阅读 0赞

#### 文章目录 ####

*   *  1 HyperLogLog
     *  2 测试百万数据的统计

### 1 HyperLogLog ###

首先我们搞懂两个概念：

*  UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。
 *  PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

通常来说UV会比PV大很多，所以衡量同一个网站的访问量，我们需要综合考虑很多因素，所以我们只是单纯的把这两个值作为一个参考值

UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中，数据量会非常恐怖，那怎么处理呢？

Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。相关算法原理大家可以参考：[https://juejin.cn/post/6844903785744056333][https_juejin.cn_post_6844903785744056333]  
Redis中的HLL是基于string结构实现的，单个HLL的内存**永远小于16kb**，**内存占用低**的令人发指！作为代价，其测量结果是概率性的，**有小于0.81％的误差**。不过对于UV统计来说，这完全可以忽略。

具体实现方式是，为每个时间点或者日期等维度创建一个独立的HyperLogLog对象，在记录用户的UV时，先将用户ID或IP等信息进行哈希处理得到一个指纹（fingerprint），然后利用Redis提供的PFADD命令将这个指纹添加进对应的HyperLogLog集合中。当需要统计某一维度的UV时，使用PFCOUNT命令获取对应HyperLogLog集合的基数（cardinality），即该维度下的独立访问者数量。

![1653837988985][]

### 2 测试百万数据的统计 ###

测试思路：我们直接利用单元测试，向HyperLogLog中添加100万条数据，看看内存占用和统计效果如何

@Test
    void testHyperLogLog() {
        
        // 准备数组装用户数据
        String[] values = new String[1000];
        // 数组角标
        int j = 0;
        for (int i = 0; i < 1000000; i++) {
        
            j = i % 1000;
            // 赋值
            values[j] = "user_" + i;
            // 每1000条发送一次
            if(j == 999){
        
                // 发送到 Redis
                stringRedisTemplate.opsForHyperLogLog().add("hl2", values);
            }
        }
        // 统计数量
        Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2");
        System.out.println("count = " + count);
    }

经过测试：我们会发生他的误差是在允许范围内，并且内存占用极小

![image-20230508173534258][]

整个项目完整版代码开源在 [cs001020/hmdp: 黑马点评 (github.com)][cs001020_hmdp_ _ _github.com]

[https_juejin.cn_post_6844903785744056333]: https://juejin.cn/post/6844903785744056333
[1653837988985]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e70f5986eeee42e29d3a147612d9ded9.png
[image-20230508173534258]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3309baf6181547a7837101a878e8d5d6.png
[cs001020_hmdp_ _ _github.com]: https://github.com/cs001020/hmdp