微服务Spring Boot 整合 Redis 实现 UV 数据统计

以你之姓@ 2024-05-01 04:40 78阅读 0赞

#### 文章目录 ####

*  ⛄引言
 *  一、HyperLoglog基础用法
 *   *  ⛅HyperLoglog 基本语法、命令
     *  ⚡HyperLoglog 命令完成功能实现
 *  二、UV统计 测试百万数据的统计
 *   *  ☁️什么是UV统计
     *  ⚡使用SpringBoot单元测试进行测试百万数据统计
 *  ⛵小结

## ⛄引言 ##

**本文参考黑马 点评项目**

在各个项目中，我们都可能需要用到UV数据统计功能，**这样可以使我们更加方便、快捷的查看网站的活跃度！**

## 一、HyperLoglog基础用法 ##

### ⛅HyperLoglog 基本语法、命令 ###

**HyperLogLog**

*  PFADD ：将指定元素添加到HyperLogLog
 *  PFCOUNT：返回存储在HyperLogLog结构体的该变量的近似基数，如果该变量不存在,则返回0
 *  PFMARGE：将多个 HyperLogLog 合并（merge）为一个 HyperLogLog ， 合并后的 HyperLogLog 的基数接近于所有输入 HyperLogLog 的可见集合（observed set）的并集.

**详见官网：** **[Redis 中文翻译 官方网站 HyperLogLog][Redis _ _ HyperLogLog]**

![在这里插入图片描述][909c8bdcd23942e1b69b2d872d8ba04d.png_pic_center]

### ⚡HyperLoglog 命令完成功能实现 ###

> **PFADD命令**

![在这里插入图片描述][c6494253860942af8515a17022a1ca7a.png_pic_center]

**使用PFADD 添加数据**

![在这里插入图片描述][af776203a06c448da20308b31a9f3ff1.png_pic_center]

> **PFCOUNT 统计**

*  得到基数值，白话就叫做去重值（1，1，2，2，3, 3）的插入pfcount得到的是3
 *  可一次统计多个key
 *  时间复杂度为O(N)，N为key的个数
 *  返回值是一个带有 **0.81% 标准错误（standard error）的近似值.**

![在这里插入图片描述][a060410033594c749092be6ad141104b.png_pic_center]

**使用PFCOUNT查询**

![在这里插入图片描述][6f9a79867cdf429086d659ba4c7ad9ae.png_pic_center]

> **PFMERGE 合并**

![在这里插入图片描述][cb51769f92bc4675a83d28083d5d88e3.png_pic_center]

**合并key**

![在这里插入图片描述][08f5d016ca1c49fca0cf49cb0f48a4bd.png_pic_center]

> **HyperLogLog 的应用场景**

*  基数不大的、数据量不大就用不上。
 *  有局限性，就是只能统计基数数量，没办法统计具体的内容
 *  和BitMap相比，属于两种特定统计情况，HyperLogLog比 BitMap去重方便很多
 *  HyperLogLog 可以 与 BitMap 配合使用，BitMap标识那些用户活跃，HyperLogLog计数

## 二、UV统计 测试百万数据的统计 ##

### ☁️什么是UV统计 ###

*  UV：全称Unique Visitor，也叫独立访客量，是指通过互联网访问、浏览这个网页的自然人。1天内同一个用户多次访问该网站，只记录1次。
 *  PV：全称Page View，也叫页面访问量或点击量，用户每访问网站的一个页面，记录1次PV，用户多次打开页面，则记录多次PV。往往用来衡量网站的流量。

通常来说 UV 会比 PV 大很多，一个网站的独立访客量 和 页面访问或点击量，肯定是独立访客大的。

UV统计在服务端做会比较麻烦，因为要判断该用户是否已经统计过了，需要将统计过的用户信息保存。但是如果每个访问的用户都保存到Redis中，数据量会非常恐怖，那怎么处理呢？

Hyperloglog(HLL)是从Loglog算法派生的概率算法，用于确定非常大的集合的基数，而不需要存储其所有值。

Redis 中的HLL 是基于string数据结构实现的，单个**HLL的内存永远小于16kb**， 内存极低！作为代价，其测量结果是概率性的，**有小于0.81％的误差**。不过对于UV统计来说，这完全可以忽略。

### ⚡使用SpringBoot单元测试进行测试百万数据统计 ###

**首先进入Redis 查看 内存占用**

info memory

![在这里插入图片描述][f7bac7a0f4aa40c98cf42f2b8ffe221b.png_pic_center]

**核心源码**

@Test
    void testHyperLoglog() {
        
        String[] values = new String[1000];
        int j = 0;
        for (int i = 0; i < 1000000; i++) {
        
            j = i % 1000;
            values[j] = "user" + i;
            if (j == 999) {
        
                //发送至redis
                stringRedisTemplate.opsForHyperLogLog().add("hl2", values);
            }
        }
        //统计数量
        Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2");
        System.out.println("count = " + count);
    }

**执行后，如下图**

![在这里插入图片描述][017c5f91716a4528ab1cb775e1a6ab5c.png_pic_center]

**再次查看内存占比**

![在这里插入图片描述][8cb34d9032ca40a1a456d5780912eee0.png_pic_center]

**可以看出占用大约为14KB，存储上百万数据只占用了14KB数据，可见HyperLogLog的强大！**

## ⛵小结 ##

以上就是【**Bug 终结者**】对 **微服务Spring Boot 整合 Redis 实现 UV 数据统计** 的简单介绍，**UV数据统计功能是很常用的，在项目中，是一个不错的亮点，统计功能也是各大系统中比较重要的功能，签到完成后，去统计本月的连续 签到记录，来给予奖励，可大大增加用户对系统的活跃度，HyperLogLog可以与BitMap相结合，从而能够能高效的对网站进行深层次的分析！** **`技术改变世界！！！`**

> 如果这篇【文章】有帮助到你，希望可以给【**Bug 终结者**】点个赞?，创作不易，如果有对【**后端技术**】、【**前端领域**】感兴趣的小可爱，也欢迎关注❤️❤️❤️ 【**Bug 终结者**】❤️❤️❤️，我将会给你带来巨大的【收获与惊喜】???！

[Redis _ _ HyperLogLog]: http://www.redis.cn/commands.html#hyperloglog
[909c8bdcd23942e1b69b2d872d8ba04d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/87252f5d186d435ca31c111b03ad46c3.png
[c6494253860942af8515a17022a1ca7a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/0e7dfb4dceab4a1eab0b306d152cec1f.png
[af776203a06c448da20308b31a9f3ff1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/25f6e6904a1d45aa885f4bc851af93eb.png
[a060410033594c749092be6ad141104b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2866caddd8d6431a873e7fef93fca8c9.png
[6f9a79867cdf429086d659ba4c7ad9ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/8b022c7333ba443990f85c22a6dddfa7.png
[cb51769f92bc4675a83d28083d5d88e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/006fcaa0c43a4d50a622321eac121b3f.png
[08f5d016ca1c49fca0cf49cb0f48a4bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/ca2a98993453466aa33e982158b0d1d7.png
[f7bac7a0f4aa40c98cf42f2b8ffe221b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/cab334d6ac7d48088f9bc053a3666edf.png
[017c5f91716a4528ab1cb775e1a6ab5c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2f607dde9e4f4211bbd07dcd215ec378.png
[8cb34d9032ca40a1a456d5780912eee0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/834b7aec1a224079aad968b59f9562f2.png