Redis-Migrate-Tool 使用详解2

àì夳堔傛蜴生んèń 2022-06-11 01:55 130阅读 0赞

**在线迁移**  
redis-migrate-tool启动后模拟成redis slave，请求master的全量数据和增量数据。redis-migrate-tool 收到数据之后解析成redis协议格式的oplog（写操作），然后发送给目标集群。  
有两种请求方式：  
1、source\_safe: true，对于同一ip上的redis，逐个的请求全量数据（RDB）；  
2、source\_safe: false，并行请求同步全量数据。source\_safe: false时，需要注意多个源redis所在的同一主机是否有足够的内存 和 RDB 并发落盘时的 IOPS 性能

**RMT配置文件**  
RMT的配置主要由三部分组成，数据源\[source\]，目标集群\[target\]，通用配置部分\[common\]。  
RMT对源集群的类型并不敏感，对每个redis节点伪装成一个slave。因而 twemproxy和cluster集群，可以使用 single 和 cluster 类型。建议配置成对应的 twemproxy 或者 cluster类型。有两方面作用：  
1）RMT在数据迁移时，可以根据 twemproxy（hash）或者cluster（slots）数据分布规则，过滤掉原本不属于该节点的数据；  
2）当源集群类型是cluster时，只用配置一个节点，简化配置。  
目标集群，因为不同数据分布规则需要执行不同的写入逻辑，因而配置非常严谨。特别是tw集群，迁移到目标集群的server配置需要和twemproxy中保持一致，包括hash算法、数据分布算法、节点的ip和port、权重、节点的名字。  
完整配置请参考github（[https://github.com/vipshop/redis-migrate-tool\#configuration][https_github.com_vipshop_redis-migrate-tool_configuration]）。

**迁移后业务切换**  
如果是异构集群的迁移，更改redis驱动/客户端和修改代码，重新发布是必然的事情。如果是同构集群，做配置发布就可以。如果没有做重启发布，等待源集群没有连接之后，可以关闭REDIS-MIGRATE-TOOL进程（kill）。或者重启应用，强制断开长连接。

**注意事项：**  
1、REDIS-MIGRATE-TOOL迁移数据到twemproxy，需要保持rmt.conf 中 \[target\] hash、distribution、servers 三个参数和目标集群的twemproxy配置严格一致。  
2、迁移中和业务切换之前，请反复观察”-o redis-migrate-tool.log”日志信息，确认是否有异常。  
3、业务切换之前，请充分检查，特别是数据的一致性。  
4、REDIS-MIGRATE-TOOL 建议部署在单独空闲机器上，同目的集群在同一个网段（跨机房迁移数据，可以提高迁移速度）。千万不要部署在源集群所在的机器，防止资源不足，比如内存，带宽，IOPS。  
5、注意RDB传输是否超时；  
6、redis client buf中的slave项，设置足够大的buffer size和超时时间。  
7.运行此工具前，请确认redis源机器是否有足够的内存允许至少生成一个RDB文件。如果redis源机器有足够的内存允许所有的redis同时生成RDB文件，可以在配置文件rmt.conf中的添加配置项source\_safe: false  
8.以下命令不支持传播到目标redis组,因为keys使用这些命令可能会跨越不同的目标redis节点:  
RENAME,RENAMENX,RPOPLPUSH,BRPOPLPUSH,FLUSHALL,FLUSHDB,BITOP,MOVE,GEORADIUS,GEORADIUSBYMEMBER,EVAL,EVALSHA,SCRIPT,PFMERGE

[https_github.com_vipshop_redis-migrate-tool_configuration]: https://github.com/vipshop/redis-migrate-tool#configuration