各redis之间数据迁移

灰太狼 2023-01-05 05:11 249阅读 0赞

# **redis自带命令** #

**migrate的参数进行逐个说明：  
·host：目标Redis的IP地址。  
·port：目标Redis的端口。  
·key|""：在Redis3.0.6版本之前，migrate只支持迁移一个键，所以此处是 要迁移的键，但Redis3.0.6版本之后支持迁移多个键，如果当前需要迁移多 个键，此处为空字符串""。  
·destination-db：目标Redis的数据库索引，例如要迁移到0号数据库，这里就写0。  
·timeout：迁移的超时时间（单位为毫秒）。  
·\[copy\]：如果添加此选项，迁移后并不删除源键。  
·\[replace\]：如果添加此选项，migrate不管目标Redis是否存在该键都会正常迁移进行数据覆盖。  
·\[keys key\[key…\]\]：迁移多个键，例如要迁移key1、key2、key3，此处填 写“keys key1 key2 key3”。**

migrate 127.0.0.1 6379 "" 10000 keys key1 key2 key3

# redis-migrate-tool迁移方式 推荐 #

## 安装redis-migrate-tool ##

**依赖**

yum -y install automake libtool autoconf bzip2 git

git clone https://github.com/tanruixing88/redis-migrate-tool.git
    cd redis-migrate-tool
    autoreconf -fvi
    ./configure
    make
    src/redis-migrate-tool -h

rmt.conf

[source]
    type: single
    hash: fnv1a_64
    hash_tag: "{}"
    distribution: ketama
    servers : 
    -127.0.0.1:6379
    
    [target]
    type: single
    servers:
    -127.0.0.1:6380
    
    [common]
    listen: 0.0.0.0:8888

**迁移命令：**

/root/redis-migrate-tool/src/redis-migrate-tool -c rmt.conf -o log -d

./redis-cli -h 127.0.0.1 -p 8888 查看进程

这个进程会在后台一直运行，等数据追平后，让业务方在低峰期将老的redis库停止写入，将连接方式改到这个新库上即可（建议redis主从用sentinel来做高可用）。 确认没问题后，然后由DBA kill 掉 redis-migrate-tool进程，整个redis迁移全过程结束。

配置说明:

[source]/[target]：
    
    type：
    single：单独的redis实例
    twemproxy：twemproxy集群
    redis cluster：redis集群
    rdb file：.rdb文件
    aof file：.aof文件
    servers：redis地址组，如果type:twemproxy，则为twemproxy配置文件，如果type:rdb file，则为rdb文件名。
    redis_auth：连接redis服务的认证auth。
    timeout：读写redis服务的超时时间(ms)，默认为120000ms
    hash：哈希方法名。仅当type:twemproxy有效。可以为one_at_a_time、md5、crc16、crc32、crc32a、fnv1_64、fnv1a_64、fnv1_32、fnv1a_32、hsieh、murmur、jenkins。
    hash_tag：用来哈希的关键key的两个字符，例如"{}" 或 “$$”。仅当type:twemproxy有效。只要标签内的关键key是相同的，能够将不同的键映射到同一服务器。
    distribution：键的分布模式。仅当type:twemproxy有效。可以为 ketama、modula、random。
    [common]：
    
    listen：监听的地址和端口。默认为127.0.0.1:8888
    max_clients：可监听端口的最大连接数。默认为100
    threads：工具可用的最多线程数。默认为cpu内核数。
    step：解析请求的步数。默认为1，数字越大，迁移越快，需要越多的内存。
    mbuf_size：请求的缓存大小（M），默认为512M
    noreply：是否检查目标组的回复，默认为false
    source_safe：是否保护源组机器的内存安全。默认为true，工具将允许在源组的同一台机器同时只有一个redis生成.rdb。
    dir：工作目录。用来存储文件，例如rdb文件，默认为当前目录。
    filter：过滤不符合表达式的Key，默认为NULL，支持通配符为glob-style风格
    ? ：1个任意字符。例如 h?llo 匹配 hello, hallo , hxllo
    * ：0个或多个任意字符。例如 h*llo 匹配 hllo ， heeeello
    [characters]：匹配任意一个方括号内的字符，比如[abc]，要么匹配a，要么匹配b，要么匹配c。例如 h[ae]llo 匹配 hello ， hallo, 但不匹配 hillo。
    [^character]：排除方括号内的字符。例如h[^e]llo 匹配 hallo, hbllo, … 但不匹配 hello。
    [character-character]：表示2个字符范围内的都可以匹配，如[a-z]，[0-9]。例如h[a-b]llo 匹配 hallo 和 hbllo。
    \用来转移特殊字符。