Java - 深度学习 - 缓存穿透、缓存击穿、缓存雪崩

女爷i 2023-07-10 05:11 10阅读 0赞

## 前言 ##

本文整理一下，缓存的三大高并发情况下暴露出来的问题，也算是扫盲吧

## 三大现象 ##

<table> 
 <thead> 
  <tr> 
   <th>现象</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>缓存穿透</td> 
   <td>黑客或自身问题，大量请求根本不存在的key，导致每次都进行数据库查询</td> 
  </tr> 
  <tr> 
   <td>缓存雪崩</td> 
   <td>假设redis在高峰期能抗住5k/s的请求，如果redis突然间全盘宕机，5k打到数据库上，当然挂了</td> 
  </tr> 
  <tr> 
   <td>缓存击穿</td> 
   <td>当某个key非常热点处于集中式访问的情况,当key失效瞬间,大量请求击穿缓存。直接请求数据库</td> 
  </tr> 
 </tbody> 
</table>

## 缓存穿透 ##

缓存穿透是指查询一个根本不存在的数据， 缓存层和存储层都不会命中， 通常出于容错的考虑， 如果从存储层查不到数据则不写入缓存层。那么将导致不存在的数据每次请求都要到存储层去查询， 失去了缓存保护后端存储的意义。

### 造成缓存穿透的基本原因有两种: ###

1.  自身业务代码BUG 或者 数据出现问题
2.  恶意攻击、爬虫等会造成大量空命中

### 解决方法，主流的主要存在两种： ###

1.  缓存空对象

// 1. redis中查找
    String cacheValue = redisCache.get(key);
    if (StringUtils.isBlank(cacheValue)  && !"UNKNOWN".equals.(cacheValue)){ 
      // 2. 未命中数据库中查找
      String storageValue = db.get(key);
      if(StringUtils.isBlank(storageValue)){ 
        // 3. 未命中，设置过期时间，避免恶意攻击，导致每次都进db
        redisCache.set(key,"UNKNOWN",3000);
      }else{ 
        redisCache.set(key,storageValue);
      }
      return storageValue;
    }
    return value;

1.  使用guvua的布隆过滤器，特点：**某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。**

<dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <version>28.1-jre</version>
    </dependency>

// 期望存入的数据个数1000，期望的误差率0.001
    BloomFilter<String>bloomFilter =
      BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf‐8")), 1000, 0.001);
    //把所有数据存入布隆过滤器
    void init(){ 
    	for (String key: keys) { 
    			bloomFilter.put(key);
    	}
    }
    
    String get(String key){ 
    	// 从布隆过滤器这一级缓存判断下key是否存在
    	Boolean exist = bloomFilter.mightContain(key);
    	if(!exist){ 
    		return "";
    	}
    	// 从缓存中获取数据
    	String cacheValue = cache.get(key);
    	// 缓存为空
    	if (StringUtils.isBlank(cacheValue)) { 
        // 从存储中获取
        String storageValue = storage.get(key);
        cache.set(key, storageValue);
        // 如果存储数据为空， 需要设置一个过期时间(300秒)
        if (storageValue == null) { 
          cache.expire(key, 60 * 5);
        }
    		return storageValue;
    	}else{ 
    		// 缓存非空
    		return cacheValue;
    	}
    }

## 缓存击穿 ##

某个key非常热点，访问非常频繁，此时由于key失效 or 大批量key失效，大量请求同时穿透直达数据库，可能会造成数据库瞬间压力过大直接挂掉。

### 解决方案 ###

1.  避免大批量key同时失效，缓存过期时间设置为同一时间段内的不同时间。
    
        int expireTime = new Random().nextInt(300) + 300;
        redisCache.set(key,value,expireTime);
2.  若缓存的数据基本不会更新，则可将热点数据设置为永不过期
    
        redisCache.set(key,value);
3.  若缓存的数据更新不是很频繁，并且缓存刷新的过程耗时较少时，可以采用分布式锁
    
        // 从缓存中获取数据
        String cacheValue = cache.get(key);
        // 缓存为空
        if (StringUtils.isBlank(cacheValue)) { 
          // 获得锁
          interProcessMutex.acquire();
          // double-check
          cacheValue = cache.get(key);
          if (StringUtils.isBlank(cacheValue)) { 
              // database - 商品列表
              cacheValue = getGoods(orderNoPath, curatorFramework);
              // 设置缓存
              redisCache.set(key,cacheValue);
          }
          // 释放
          interProcessMutex.release();
        }
        return cacheValue;
4.  若数据更新频繁时，并且缓存刷新的过程较耗时，那么才用定时器方案（也就是在缓存到期时，在定时器种完成刷新）
    
        @Scheduled(fixedRate = 3000)
        public void check() { 
          String value = db.get(key);
          redisCache.set(key,value,2000);
        }

## 缓存雪崩 ##

当大量请求来临时缓存层支撑不住或宕掉后，流量就全部达到数据库上， 于是大量请求都会达到存储层， 存储层的调用量会暴增， 造成存储层也会级联宕机的情况，这也就是雪崩效应。

### 解决方法 ###

1.  保证缓存层服务高可用性，比如使用Redis Sentinel或Redis Cluster
2.  本地 ehcache + Hystrix 限流&降级组件，避免数据库被打死
3.  redis持久化，一旦重启，自动从磁盘上加载数据，快速恢复缓存数据

### 好处 ###

1.  Redis采用集群模式后，高可用性不容易宕机等
2.  因为限流最多只能运行合理的量到达数据库，并不会导致数据库瞬间崩溃
3.  未通过的请求将会进入降级策略，这时我们只需返回 友情提示/默认值/空白页/警告 等。