Redis & Redis Cluster 字段模糊匹配及删除

た入场券 2022-05-22 09:16 449阅读 0赞

### Questions ###

在数据库内我们可以通过`like`关键字、`％`、`*`或者`REGEX`关键字进行模糊匹配。而在Redis内我们如何进行模糊匹配呢？集群情况`Redis Cluster`的情况是否和单机一致呢？前段时间我对于这个议题进行了调查和研究。

--------------------

### 单节点的情况 ###

*  Jedis  
    参考`stackoverflow上的解答`，在Java内使用`Jedis`主要有如下2中写法:

### 方法1
    Set<String> keys = jedis.keys(pattern);
    for (String key : keys) {
        jedis.del(key);
    } 
    
    ### 方法2
    Jedis jedis = new Jedis("127.0.0.1");
    ScanParams scanParams = new ScanParams();
    scanParams.match("prifix*");
    scanParams.count(1000);
    ScanResult<String> result = jedis.scan(0,scanParams);
    result.getResult().forEach(key -> {
        jedis.del(key);
    });
    
    ### 注意scan方法由于某些bug在2.9版本内scan(int,ScanParams)改为了scan(String,ScanParams)。由于cursor的位数，方法有些调整。

*  方法1，通过`keys`命令先寻找到所有符合的key，然后把它们删除；
 *  方法2，通过`scan`命令扫描所有符合的key，然后把它们删除。
 *  注意: Redis饰单线程模式，全局扫描的话有可能会导致`Redis`在一段时间内的卡顿情况发生。
 *  Redis-cli

redis-cli keys 1.cn*|xargs redis-cli del

--------------------

### Redis Cluster情况 ###

在Redis Cluster情况与单节点多情况完全不太一样。

*  首先，Redis Cluster是将整个Redis 的hash槽分布在三台机器上，要想一下全部扫描出来，显然是不太现实的。
 *  Redis内提供`Hash-Tag`，将相类似的键放在一台机器上。可以通过`Hash-Tag`进行扫描，可以剪短时间消耗。
 *  最后需要考虑，主从集群节点的情况。

#### Hash-Tag ####

Hash-Tag 是用一个花括号将主要的Hash判断部分扩起来，例如`{hello1}key1`、`｛hello1｝key2`。一般`Hash-tag`一致的情况，键会存储在集群的同一台机器上。在`Jedis 2.9版本`提供了这样的扫描方法。  
(PS . rediscluster是没有keys方法的)

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
            try{
                jedisCluster.getClusterNodes();
    
                ScanParams scanParams = new ScanParams();
    // scanParams.match("{123}keys*");
    
    // scanParams.count(1000);
                ScanResult<String> result = jedisCluster.scan("0", scanParams);
                result.getResult().forEach(key -> {
                    jedisCluster.del(key);
                });
    // jedisCluster.del(wrapperKey(redisKeyStartWith)+".*");
                log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith);
            }finally{
            }
        }

#### 土办法 分别扫描各个hash槽 ####

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
            try {
                Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();
    
                for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
                    Jedis jedis = entry.getValue().getResource();
                    // 判断非从节点(因为若主从复制，从节点会跟随主节点的变化而变化)
                    if (!jedis.info("replication").contains("role:slave")) {
                        Set<String> keys = jedis.keys(redisKeyStartWith + "*");
                        if (keys.size() > 0) {
                            Map<Integer, List<String>> map = new HashMap<>();
                            for (String key : keys) {
                                // cluster模式执行多key操作的时候，这些key必须在同一个slot上，不然会报:JedisDataException:
                                // CROSSSLOT Keys in request don't hash to the same slot
                                int slot = JedisClusterCRC16.getSlot(key);
                                // 按slot将key分组，相同slot的key一起提交
                                if (map.containsKey(slot)) {
                                    map.get(slot).add(key);
                                } else {
                                    map.put(slot, Lists.newArrayList(key));
                                }
                            }
                            for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {
                                jedis.del(integerListEntry.getValue().toArray(new String[integerListEntry.getValue().size()])); } } } } log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith); } finally { } }

### 未使用slot批次提交(有可能效率略差于前者)
    //获取jedis连接
    
             private JedisCluster jedisCluster=JedisClusterUtil.getJedisCluster();
    
             //@param pattern 获取key的前缀 全是是 * 
    
     public static TreeSet<String> keys(String pattern){  
    
    
           TreeSet<String> keys = new TreeSet<>();  
            //获取所有的节点
    
                   Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();  
           //遍历节点 获取所有符合条件的KEY 
    
                   for(String k : clusterNodes.keySet()){  
               logger.debug("Getting keys from: {}", k);  
               JedisPool jp = clusterNodes.get(k);  
               Jedis connection = jp.getResource();  
               try {  
                   keys.addAll(connection.keys(pattern));  
               } catch(Exception e){  
                   logger.error("Getting keys error: {}", e);  
               } finally{  
                   logger.debug("Connection closed.");  
                   connection.close();//用完一定要close这个链接！！！ 
               }  
           }  
           logger.debug("Keys gotten!");  
           return keys;  
      }  
    
              //main方法
    
     public static void main(String[] args ){
     TreeSet<String> keys=keys("*");
    
     //遍历key 进行删除 可以用多线程
    
     for(String key:keys){
    
                              jedisCluster.del(key);
     System.out.println(key);
     }
     }

--------------------

### Reference ###

\[1\]. [(码经)如何通过正则匹配删除Redis里的键][Redis]  
\[2\]. [(Stackoverflow)Redis/Jedis - Delete by pattern?][Stackoverflow_Redis_Jedis - Delete by pattern]  
\[3\]. [(JavaDoc)Class JedisCluster][JavaDoc_Class JedisCluster]  
\[4\]. [(csdn)redis cluster 模式如何批量删除指定前缀的key][csdn_redis cluster _key]  
\[5\]. [redis cluster模式key的模糊删除-java操作][redis cluster_key_-java]  
\[6\]. [Jedis实现批量删除redis cluster][Jedis_redis cluster]  
\[6\]. [redis del命令支持正则删除（pattern）][redis del_pattern]  
\[7\]. [Redis 批量删除Redis的key 正则匹配删除][Redis _Redis_key]  
\[8\]. [(名字挺搞笑-蛋糕店老板)Redis集群下使用Jedis实现keys模糊查询][-_Redis_Jedis_keys]

[Redis]: https://majing.io/questions/49
[Stackoverflow_Redis_Jedis - Delete by pattern]: https://stackoverflow.com/questions/21317501/redis-jedis-delete-by-pattern/23444123#23444123
[JavaDoc_Class JedisCluster]: http://javadox.com/redis.clients/jedis/2.8.0/redis/clients/jedis/JedisCluster.html#del-java.lang.String-
[csdn_redis cluster _key]: https://blog.csdn.net/xiao_jun_0820/article/details/77227104
[redis cluster_key_-java]: https://blog.csdn.net/u010497606/article/details/70844554
[Jedis_redis cluster]: https://blog.csdn.net/yangcl123/article/details/52850569
[redis del_pattern]: https://blog.csdn.net/zhiyuan_2007/article/details/51476262
[Redis _Redis_key]: https://blog.csdn.net/guoyanga1/article/details/79087334
[-_Redis_Jedis_keys]: https://blog.csdn.net/qq_35235028/article/details/79131532