redis缓存穿透解决方案

痛定思痛。 2023-09-25 11:05 178阅读 0赞

### 数据库存到redis缓存中.请问怎么把redi ###

应用Redis实现数据的读写，同时利用队列处理器定时将数据写入mysql。同时要注意避免冲突，在redis启动时去mysql读取所有表键值存入redis中，往redis写数据时，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。这样处理，主要是实时读写redis，而mysql数据则通过队列异步处理，缓解mysql压力，不过这种方法应用场景主要基于高并发，而且redis的高可用集群架构相对更复杂，一般不是很推荐。

![redis缓存穿透解决方案\_redis缓存][redis_redis]

### 查询数据放入了redis中缓存，怎么查看缓存的数据 ###

一般分页做缓存都是直接查找出来，按页放到缓存里，但是这种缓存方式有很多缺点。

如缓存不能及时更新，一旦数据有变化，所有的之前的分页缓存都失效了。

比如像微博这样的场景，微博下面现在有一个顶次数的排序。这个用传统的分页方式很难应对。

最近想到了另一种思路。

数据以ID为key缓存到Redis里；

把数据ID和排序打分存到Redis的skiplist，即zset里；

当查找数据时，先从Redis里的skiplist取出对应的分页数据，得到ID列表。

用multiget从redis上一次性把ID列表里的所有数据都取出来。如果有缺少某些ID的数据，再从数据库里查找，再一块返回给用户，并把查出来的数据按ID缓存到Redis里。

在最后一步，可以有一些小技巧：

比如在缺少一些ID数据的情况下，先直接返回给用户，然后前端再用ajax请求缺少的ID的数据，再动态刷新。

### 大量数据能缓存到redis里面吗 ###

不适合引子：

在大数据时代，总希望存在一个Key-value存储机制，像HashMap一样在内存中处理大量(千万数量级)的key-value对，以便提高数据查找、修改速度。

所以，我们会想到，Memcached和Redis这两个NoSQL数据库(严格来讲二者都不可以算作数据库)。

1、Memcached是一个cache机制，当内存不足时会采用LRU机制，替换出陈旧数据，因此他不能保证我们的数据像在HashMap中一样不丢失，且没有数据持久化机制；

2、Redis克服了这一缺点，采取磁盘存储机制实现数据持久化。但是，当数据量达到1千万左右时，由于内存中不能存储如此大量数目的数据，频繁同磁盘进行数据交换，导致数据查询、存储性能的急剧下降，将导致服务不可用。

结论：当前还没有好的产品可以实现key-value保证数据完整性，千万级条数量级的，高效存储和查询支持产品。

附录一：如下是转自其它网友的测试数据：

附录二：memcached 和redis的比较，和各自用途

从图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis客户端进行如下测试：

1) Set操作

2) Get操作

3) Del操作

每一套测试分别使用三个配置进行测试：

1) 绿色线条的是开启Dump方式的持久化，5分钟持久化一次

2) 蓝色线条是开启AOF方式的持久化，每秒写入磁盘一次

3) 红色线条是关闭任何的持久化方式

对于每一个配置都使用相同的其他配置：

1) 开启VM 最大内存10GB(128字节一对于变化频率非常快的数据来说，如果还选择传统的静态缓存方式(memocached、file system等)展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要，而redis这样基于内存的nosql数据库，就非常适合担任实时数据的容器。

但是往往又有数据可靠性的需求，采用mysql作为数据存储，不会因为内存问题而引起数据丢失，同时也可以利用关系数据库的特性实现很多功能。

所以就会很自然的想到是否可以采用mysql作为数据存储引擎，redis则作为cache。而这种需求目前还没有看到有特别成熟的解决方案或工具，因此采用gearman+php+mysql udf的组合异步实现mysql到redis的数据复制。

mysql到redis数据复制方案

无论mysql还是redis，自身都带有数据同步的机制，比较常用的mysql的master/slave模式，就是由slave端分析master的binlog来实现的，这样的数据复制其实还是一个异步过程，只不过当服务器都在同一内网时，异步的延迟几乎可以忽略。

那么理论上也可以用同样方式，分析mysql的binlog文件并将数据插入redis。但是这需要对binlog文件以及mysql有非常深入的理解，同时由于binlog存在statement/row/mixedlevel多种形式，分析binlog实现同步的工作量是非常大的。

因此这里选择了一种开发成本更加低廉的方式，借用已经比较成熟的mysql udf，将mysql数据首先放入gearman中，然后通过一个自己编写的php gearman worker，将数据同步到redis。比分析binlog的方式增加了不少流程，但是实现成本更低，更容易操作。

![redis缓存穿透解决方案\_redis缓存\_02][redis_redis_02]

### redis 缓存是内存缓存吗 ###

只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。

无法进行持久化，数据不能备份，只能用于缓存使用，且重启后数据全部丢失。

无法进行数据同步，不能将MC中的数据迁移到其他MC实例中。

Memcached内存分配采用Slab Allocation机制管理内存，value大小分布差异较大时会造成内存利用率降低，并引发低利用率时依然出现踢出等问题。需要用户注重value设计。

[redis_redis]: https://img-blog.csdnimg.cn/img_convert/ad9bc79747fbde20020cc1fdce1912cf.jpeg
[redis_redis_02]: https://img-blog.csdnimg.cn/img_convert/aec2ec9731d9ee61de92d5a2dd1edfee.png