redis高并发秒杀测试

小鱼儿 2022-04-18 03:49 312阅读 0赞

项目源码：[https://pan.baidu.com/s/1KfTRyghgUqvkpBCHN6xJwg][https_pan.baidu.com_s_1KfTRyghgUqvkpBCHN6xJwg]

准备

*  使用`docker-compose`命令启动redis服务器（可以用其他方式启动）
 *  idea启动测试项目
 *  jmeter测试脚本
    
     *  [高并发秒杀-重现超卖问题.jmx][-_.jmx]
     *  [高并发秒杀-有事务方式减少库存.jmx][-_.jmx 1]

重现秒杀时出现的超卖问题

*  核心测试代码如下：
 *  /\*\*  
     \* 用于测试redis秒杀  
     \*/  
    @RestController  
    @RequestMapping("/api/spike")  
    @Slf4j  
    public class SpikeController \{  
       
        @Resource(name = "stringRedisTemplate")  
        private StringRedisTemplate stringRedisTemplate;  
       
        @Autowired  
        private RedissonClient redissonClient;  
          
        //记录实际卖出的商品数量  
        private AtomicInteger successNum = new AtomicInteger(0);  
       
        @RequestMapping(value = "/initSku", method = RequestMethod.GET)  
        public String initSku() \{  
            //初始化库存数量  
            stringRedisTemplate.opsForValue().set("product\_sku", "5");  
            //初始化实际卖出的商品数量0  
            successNum.set(0);  
            return "初始化库存成功";  
        \}  
       
        /\*\*  
         \* 会出现超卖情况的减少库存方式  
         \* @return  
         \*/  
        @RequestMapping(value = "/reduceSku", method = RequestMethod.GET)  
        public String reduceSku() \{  
            Integer sku = Integer.parseInt(stringRedisTemplate.opsForValue().get("product\_sku"));  
            sku = sku - 1;  
            if (sku < 0) \{  
                return "库存不足";  
            \}  
       
            stringRedisTemplate.opsForValue().set("product\_sku", sku.toString());  
            //记录实际卖出的商品数量  
            return "减少库存成功,共减少" + successNum.incrementAndGet();  
        \}  
       
        @RequestMapping(value = "/successNum", method = RequestMethod.GET)  
        public String successNum() \{  
            return "顾客成功抢到的商品数量：" + successNum.get();  
        \}  
    \}
 *  测试api：
 *  API\{初始化库存数量\} >> http://127.0.0.1:8090/api/spike/initSku  
    API\{减少库存数量\} >> http://127.0.0.1:8090/api/spike/reduceSku  
    API\{查看共减少库存数量\} >> http://127.0.0.1:8090/api/spike/successNum
    
    第一个api用于：初始化库存中的商品数量为5
    
    第二个api用于：减少库存1个商品（即客户购买一个商品）
    
    第三个api用于：查看用户实际购买的商品
    
    少量用户请求的情况展示：
    
    首先初始商品库存：http://127.0.0.1:8090/api/spike/initSku  
    [![image.png][]][image.png]
 *  redis数据库中商品库存记录，结果为5
 *  [![image.png][image.png 1]][image.png 1]
 *  查看用户实际购买的商品，结果为0
 *  [![image.png][image.png 2]][image.png 2]
 *  客户购买5次商品（调用5次`减少库存数量`api）,下面只列出3个图
 *  [![image.png][image.png 3]][image.png 3]
 *  [![image.png][image.png 4]][image.png 4]
 *  [![image.png][image.png 5]][image.png 5]
 *  客户继续购买（继续调用`减少库存数量`api）时，会提示库存不足
 *  再次查看redis数据库中商品库存记录，结果为0
 *  [![image.png][image.png 6]][image.png 6]
 *  再次查看用户实际购买的商品，结果为5
 *  [![image.png][image.png 7]][image.png 7]
 *  大量用户请求的情况（高并发秒杀）展示
 *  首先初始商品库存：[http://127.0.0.1:8090/api/spike/initSku][http_127.0.0.1_8090_api_spike_initSku]
 *  [![image.png][]][image.png]
 *  redis数据库中商品库存记录，结果为5
 *  [![image.png][image.png 1]][image.png 1]
 *  查看用户实际购买的商品，结果为0
 *  [![image.png][image.png 2]][image.png 2]
 *  使用jmeter打开测试脚本，可以看到基本配置如下
 *  ![68747470733a2f2f75706c6f61642d696d616765732e6a69616e7368752e696f2f75706c6f61645f696d616765732f373137363837372d366533393664353933636630383763312e706e673f696d6167654d6f6772322f6175746f2d6f7269656e742f7374726970253743696d61676556696577322f322f772f31323430][]
 *  jmeter并发配置如下（当用户数达到 1000 的时候才开始测试）
 *  [![image.png][image.png 8]][image.png 8]
 *  点击jmeter的`start`按钮，开始1000个并发请求
 *  再次查看redis数据库中商品库存记录，结果为0
 *  ![image.png 6][]
 *  **注意：再次查看用户实际购买的商品，结果超过5，出现超卖情况！！！**
 *  ![68747470733a2f2f75706c6f61642d696d616765732e6a69616e7368752e696f2f75706c6f61645f696d616765732f373137363837372d393132393033633731346336316437382e706e673f696d6167654d6f6772322f6175746f2d6f7269656e742f7374726970253743696d61676556696577322f322f772f31323430][]
 *  超卖问题原因分析
 *  从上面测试结果，我们知道，高并发请求`http://127.0.0.1:8090/api/spike/reduceSku`，会出现超卖的情况
 *  下面我们看下超卖问题的原因
 *       
 *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70][]
 *  从代码片可以看出，问题原因是库存数量sku的读和写操作不在同一个原子操作上，导致类似不可重复读的现象。可以类比多线程的问题。  
    通过redis事务解决超卖问题
    
    使用redis原生的sdk
    
    如下改造reduceSku()方法，作为一个新接口http://127.0.0.1:8090/api/spike/reduceSku3  
        /\*\*  
         \* 加入事务的减少库存方式  
         \* @return  
         \*/  
        @RequestMapping(value = "/reduceSku3", method = RequestMethod.GET)  
        public String reduceSku3() \{  
            Jedis jedis = new Jedis("127.0.0.1", 6379);  
            List<Object> result ;  
            Transaction transaction = null;  
            try \{  
                jedis.watch("product\_sku");  
                int sku = Integer.parseInt(jedis.get("product\_sku"));  
                if (sku > 0) \{  
                    transaction = jedis.multi();  
                    transaction.set("product\_sku", String.valueOf(sku - 1));  
    //                int exp = 1/0;  
                    result = transaction.exec();  
                    if (result == null || result.isEmpty()) \{  
                        System.out.println("Transaction error...");// 可能是watch-key被外部修改，或者是数据操作被驳回  
    //                    transaction.discard();  //watch-key被外部修改时，discard操作会被自动触发  
                        return "Transaction error...";  
                    \}  
                \} else \{  
                    return "库存不足";  
                \}  
                return "减少库存成功,共减少" + successNum.incrementAndGet();  
            \} catch (Exception e) \{  
                log.error(e.getMessage());  
                transaction.discard();  
                return "fail";  
            \}  
        \}
    
    大量用户请求`reduceSku3`接口的情况（高并发秒杀）展示
 *  首先初始商品库存：[http://127.0.0.1:8090/api/spike/initSku][http_127.0.0.1_8090_api_spike_initSku]
 *  [![image.png][]][image.png]
 *  redis数据库中商品库存记录，结果为5
 *  [![image.png][image.png 1]][image.png 1]
 *  查看用户实际购买的商品，结果为0
 *  [![image.png][image.png 2]][image.png 2]
 *  使用jmeter打开测试脚本，可以看到基本配置如下
 *  [![image.png][image.png 9]][image.png 9]
 *  jmeter并发配置如下（当用户数达到 1000 的时候才开始测试）
 *  [![image.png][image.png 8]][image.png 8]
 *  点击jmeter的`start`按钮，开始1000个并发请求
 *  再次查看redis数据库中商品库存记录，结果为0
 *  [![image.png][image.png 6]][image.png 6]
 *  **注意：再次查看用户实际购买的商品，结果为5，超卖情况消失**
 *  [![image.png][image.png 7]][image.png 7]
 *  **上面是直接用redis原生的sdk对象jredis执行的事务**
    
    **spring的redisTemplate执行事务**
    
    **注意： 若要使用spring的redisTemplate执行事务，需要在开启事务后执行一个redis的查询操作（但不能使用查询到的值）。原因有两点：  
    spring对redis事务的exec()方法返回结果做了处理（把返回值的 OK结果删掉）。  
    导致在事务中只有set等更新操作时，事务执行失败与成功返回的结果一样  
    事务过程中查询redis的值只会在事务执行成功后才放回。而在事务执行过程中只会返回null  
    接口http://127.0.0.1:8090/api/spike/reduceSku3是使用spring的redisTemplate执行事务的例子。代码如下**
    
    @RequestMapping(value = "/reduceSku2", method = RequestMethod.GET)  
    public String reduceSku2() \{  
        stringRedisTemplate.setEnableTransactionSupport(true);  
        List<Object> results = stringRedisTemplate.execute(new SessionCallback<List<Object>>() \{  
            @Override  
            public List<Object> execute(RedisOperations operations) throws DataAccessException \{  
                operations.watch("product\_sku");  
                String product\_sku = (String) operations.opsForValue().get("product\_sku");  
                operations.multi();  
                operations.opsForValue().get("product\_sku");//必要的空查询  
                Integer sku = Integer.parseInt(product\_sku);  
                sku = sku - 1;  
                if (sku < 0) \{  
                    return null;  
                \}  
                operations.opsForValue().set("product\_sku", sku.toString());  
                return operations.exec();  
    //                operations.unwatch(); //执行exec()后自动unwatch()  
       
            \}  
        \});  
       
        if (results != null && results.size() > 0) \{  
            return "减少库存成功,共减少" + successNum.incrementAndGet();  
        \}  
       
        return "库存不足";  
    //        return result.toString();  
    \}
 *  测试结果为：成功解决超卖问题
 *  不再另外贴图片出来
 *  spring的`redisTemplate`执行事务（使用`zset`）
 *  接口`http://127.0.0.1:8090/api/set/reduceSku`是使用`zset`的方式
 *  @RequestMapping(value = "/reduceSku", method = RequestMethod.GET)  
    public String reduceSku5(String pid) \{  
        pid = pid==null? String.valueOf(1) :pid;  
        String finalPid = pid;  
        List<Object> results = redisTemplate.execute(new SessionCallback<List<Object>>() \{  
            @Override  
            public List<Object> execute(RedisOperations redisOperations) throws DataAccessException \{  
                String key = "product";  
                redisOperations.watch(key);  
                ZSetOperations<String, String> kvzSetOperations = redisOperations.opsForZSet();  
                Object score = kvzSetOperations.score(key, finalPid);  
                redisOperations.multi();  
                if (score != null && Double.valueOf(score.toString()) > 0) \{  
                    kvzSetOperations.incrementScore("product", finalPid, -1);  
                \}  
                return redisOperations.exec();  
       
            \}  
        \});  
       
        if (results != null && results.size() > 0) \{  
            return "减少库存成功,共减少" + successNum.incrementAndGet();  
        \}  
       
        return "库存不足";  
    \}
 *  测试结果为：成功解决超卖问题
 *  不再另外贴图片出来
 *  通过加锁方式解决超卖问题
 *  如下改造`reduceSku()`方法，作为一个新接口`http://127.0.0.1:8090/api/spike/reduceSku4`
 *  `@RequestMapping(value = "/reduceSku4", method = RequestMethod.GET) public String reduceSku4() {     RLock rLock = redissonClient.getLock("product_sku");     try {         rLock.lock();           Integer sku = Integer.parseInt(stringRedisTemplate.opsForValue().get("product_sku"));         sku = sku - 1;         if (sku < 0) {             return "库存不足";         }           stringRedisTemplate.opsForValue().set("product_sku", sku.toString());           return "减少库存成功,共减少" + successNum.incrementAndGet();     } finally {         rLock.unlock();     }   }`
 *  测试结果为：成功解决超卖问题
 *  不再另外贴图片出来

[https_pan.baidu.com_s_1KfTRyghgUqvkpBCHN6xJwg]: https://pan.baidu.com/s/1KfTRyghgUqvkpBCHN6xJwg
[-_.jmx]: https://github.com/14251104246/redis-demo/blob/master/src/test/jmeter/%E9%AB%98%E5%B9%B6%E5%8F%91%E7%A7%92%E6%9D%80-%E9%87%8D%E7%8E%B0%E8%B6%85%E5%8D%96%E9%97%AE%E9%A2%98.jmx
[-_.jmx 1]: https://github.com/14251104246/redis-demo/blob/master/src/test/jmeter/%E9%AB%98%E5%B9%B6%E5%8F%91%E7%A7%92%E6%9D%80-%E6%9C%89%E4%BA%8B%E5%8A%A1%E6%96%B9%E5%BC%8F%E5%87%8F%E5%B0%91%E5%BA%93%E5%AD%98.jmx
[image.png]: /images/20220418/13292326f69f499e95e9e40da3b922ea.png
[image.png 1]: /images/20220418/3c02e8b780f445c7bd12c1520bb70a38.png
[image.png 2]: /images/20220418/04cc9563e3904120a4d53a733276f019.png
[image.png 3]: /images/20220418/606b5288f1794a19b822efeb35a342ff.png
[image.png 4]: /images/20220418/bc97dd681bc347a9a30d878e3a5fbb99.png
[image.png 5]: /images/20220418/c41ed97d7512448db670103738df6909.png
[image.png 6]: /images/20220418/4a363777af0847cf9d2942f982962436.png
[image.png 7]: /images/20220418/c5d4f6c4389d404c9bc69177ae96fb72.png
[http_127.0.0.1_8090_api_spike_initSku]: http://127.0.0.1:8090/api/spike/initSku
[68747470733a2f2f75706c6f61642d696d616765732e6a69616e7368752e696f2f75706c6f61645f696d616765732f373137363837372d366533393664353933636630383763312e706e673f696d6167654d6f6772322f6175746f2d6f7269656e742f7374726970253743696d61676556696577322f322f772f31323430]: /images/20220418/d242428f38174704b601f9becad0c617.png
[image.png 8]: /images/20220418/21f8b836dca143a2937a66e3cb429f21.png
[68747470733a2f2f75706c6f61642d696d616765732e6a69616e7368752e696f2f75706c6f61645f696d616765732f373137363837372d393132393033633731346336316437382e706e673f696d6167654d6f6772322f6175746f2d6f7269656e742f7374726970253743696d61676556696577322f322f772f31323430]: /images/20220418/88ce9f9f942d4bdfa1a2086249c69a29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70]: /images/20220418/e72fe2f2299e4112afee82d0c938e1ac.png
[image.png 9]: /images/20220418/7b13c41e902449549024be48a42fbe36.png