一种多级缓存的系统架构

太过爱你忘了你带给我的痛 2022-05-30 11:07 204阅读 0赞

**一种多级缓存的系统架构**

下面这个也是比较常用的多级缓存的系统架构图：

**![20180311105227723][]**

整体流程如上图所示：

1、首先接入Nginx将请求负载均衡到应用Nginx，此处常用的负载均衡算法是轮询或者一致性哈希，轮询可以使服务器的请求更加均衡，而一致性哈希可以提升应用Nginx的缓存命中率；后续负载均衡和缓存算法部分我们再细聊；

2、接着应用Nginx读取本地缓存（本地缓存可以使用Lua Shared Dict、Nginx Proxy Cache（磁盘/内存）、Local Redis实现），如果本地缓存命中则直接返回，使用应用Nginx本地缓存可以提升整体的吞吐量，降低后端的压力，尤其应对热点问题非常有效；为什么要使用应用Nginx本地缓存我们将在热点数据与缓存失效部分细聊；

3、如果Nginx本地缓存没命中，则会读取相应的分布式缓存（如Redis缓存，另外可以考虑使用主从架构来提升性能和吞吐量），如果分布式缓存命中则直接返回相应数据（并回写到Nginx本地缓存）；

4、如果分布式缓存也没有命中，则会回源到Tomcat集群，在回源到Tomcat集群时也可以使用轮询和一致性哈希作为负载均衡算法；

5、在Tomcat应用中，首先读取本地堆缓存，如果有则直接返回（并会写到主Redis集群），为什么要加一层本地堆缓存将在缓存崩溃与快速修复部分细聊；

6、作为可选部分，如果步骤4没有命中可以再尝试一次读主Redis集群操作，目的是防止当从有问题时的流量冲击；

7、如果所有缓存都没有命中只能查询DB或相关服务获取相关数据并返回；

8、步骤7返回的数据异步写到主Redis集群，此处可能多个Tomcat实例同时写主Redis集群，可能造成数据错乱，如何解决该问题将在更新缓存与原子性部分细聊。

整体分了三部分缓存：应用Nginx本地缓存、分布式缓存、Tomcat堆缓存，每一层缓存都用来解决相关的问题，如应用Nginx本地缓存用来解决热点缓存问题，分布式缓存用来减少访问回源率、Tomcat堆缓存用于防止相关缓存失效/崩溃之后的冲击。

[20180311105227723]: /images/20220530/be1ae1281b024a56b2e58cd15a5ac86b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关服务端应用多级缓存架构方案

服务端应用多级缓存架构方案场景20w的QPS的场景下，服务端架构应如何设计？常规解决方案可使用分布式缓存来抗，比如redis集群，6主6从，主提供读写，从作为备，不提供读...

忘是亡心i/ 2024年05月23日 22:18/ 0 赞/ 67 阅读

相关多级缓存架构设计

说在前面在40岁老架构师尼恩的读者社区(50+)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、网易、滴滴的面试资格，多次遇到一个很重要的面试题：

心已赠人/ 2024年03月26日 22:47/ 0 赞/ 92 阅读

相关多级缓存之实现多级缓存

多级缓存的实现离不开`Nginx`编程，而`Nginx`编程又离不开`OpenResty`。 1. `OpenResty`快速入门我们希望达到的多级缓存架构如图：

浅浅的花香味﹌/ 2024年02月19日 11:42/ 0 赞/ 106 阅读

相关 SpringCloud(一) Euraka多级缓存

服务正常上线/修改/下线，最大可能会有120s滞后 30(首次注册 init registe) + 30(readOnlyCacheMap)+30(client fetch

喜欢ヅ旅行/ 2023年06月17日 05:57/ 0 赞/ 158 阅读

相关多级缓存的分层架构

前言在互联网高速发展的今天，缓存技术被广泛地应用。无论业内还是业外，只要是提到性能问题，大家都会脱口而出“用缓存解决”。这种说法带有片面性，甚至是一知半解，但是作为

客官°小女子只卖身不卖艺/ 2023年05月21日 06:00/ 0 赞/ 15 阅读

相关 cpu多级缓存并发架构解析

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

曾经终败给现在/ 2022年12月22日 09:20/ 0 赞/ 198 阅读

相关实现多级缓存的架构设计方案

点击上方蓝色“石杉的架构笔记”，选择“设为星标” 回复“PDF”获取独家整理的学习资料！ ![55cd4bcc18c49063e56f8f03c0a

桃扇骨/ 2022年10月06日 06:55/ 0 赞/ 202 阅读

相关一款牛逼的多级缓存架构设计方案

点击关注公众号，利用碎片时间学习![2baadc6d5d278098f7190c0696c94ab6.png][] TMC，即“透明多级缓存（Transparent Mult

以你之姓@/ 2022年08月29日 00:07/ 0 赞/ 199 阅读

相关一种多级缓存的系统架构

一种多级缓存的系统架构下面这个也是比较常用的多级缓存的系统架构图： ![20180311105227723][] 整体流程如上

太过爱你忘了你带给我的痛/ 2022年05月30日 11:07/ 0 赞/ 205 阅读

相关架构：基于Nginx+Redis+jvm堆缓存的多级缓存架构设计。

多级缓存架构采用三级缓存：nginx本地缓存+redis分布式缓存+tomcat堆缓存的多级缓存架构缓存中的数据分为两种时效性要求非常高的数据：库存、

偏执的太偏执、/ 2022年01月30日 23:59/ 0 赞/ 307 阅读