3种常见的数据库迁移同步工具对比，哪个更适合你？

短命女 2023-10-04 21:17 53阅读 0赞

#### 文章目录 ####

*  前言
 *  一、Navicat
 *  二、DataX
 *  三、TurboDX
 *  总结

--------------------

## 前言 ##

之前在项目中，收到一个紧急需求，要把数据从 PostgreSQL 迁移到 TiDB 中。由于时间紧任务重，来不及调研高效的方式，直接使用了 Navicat 内置的功能，把数据从 PostgreSQL 迁移到了 TiDB。

项目结束后，我深入调研了几个同步迁移工具，**本期就跟大家一起看看，几个迁移同步工具的实现步骤和各自的优缺点，以便在后续项目中能够选择最佳的工具，高效完成**。

--------------------

## 一、Navicat ##

Navicat Premium 是**一套多连接数据库开发工具**，让你在单一应用程序中同时连接多种类型的数据库：MySQL、MariaDB、MongoDB、SQL Server、SQLite、Oracle 和 PostgreSQL，可一次快速方便地访问所有数据库。

我们先来一起看看它的迁移能力 ⬇

*  **Step 1: 增加数据源与目标库**

![在这里插入图片描述][06396d3344934a7cb5392e051d6d3211.png_pic_center]  
![在这里插入图片描述][9acfbb33aae141528c7c02ac51981baa.png_pic_center]

*  **Step 2: 打开数据传输工具填写好相关信息：工具->传输工具**

![在这里插入图片描述][b950ae87f4604737b917134a359ba012.png_pic_center]

*  **Step 3: 选择全部表**

![在这里插入图片描述][4b2d74778ad04bd7bb396225ce220f70.png_pic_center]

*  Step 4: 同步结果

![在这里插入图片描述][d020e27f49ce4384a870f1dbd274b149.png_pic_center]

4步操作就实现了数据库同步迁移。

--------------------

## 二、DataX ##

DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内**被广泛使用的离线数据同步工具/平台**。

DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

我们可以把Datax的同步功能当作迁移功能使用，看看效果如何 ⬇

*  **Step 1: 环境准备**
 *  Linux
 *  JDK(1.8以上，推荐1.8)
 *  Python(2或3都可以)
 *  Apache Maven 3.x (Compile DataX)

我们这里只简单介绍工具包安装：

yum install -y java-1.8.0-openjdk
    
    # python2 自带了，这里不做安装。
    # 用工具包安装，不需要部署 Apache Maven

*  **Step 2: Datax部署**

1、直接下载DataX工具包

下载地址：https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202210/datax.tar.gz；

2、上传到Linux中

3、解压

tar -zxvf datax.tar.gz；

4、验证环境是否正常

python ./datax/bin/datax.py ./datax/job/job.json

5、验证结果  
![在这里插入图片描述][5ea5a314fefa4120b5b574aacb05cdff.png_pic_center]

*  **Step 3: 编写Job**

1、查看配置模板

python ./datax/bin/datax.py -r postgresqlreader -w mysqlwriter

2、编写配置模板

{
        
        "job": {
        
            "content": [
                {
        
                    "reader": {
        
                        "name": "postgresqlreader",
                        "parameter": {
        
                            "connection": [
                                {
        
                                    "jdbcUrl": ["jdbc:postgresql://10.3.70.132:30118/dc-master-data-management-pg_migrate_test"],
                                    "table": ["crm_lead"]
                                }
                            ],
                            "password": "****",
                            "username": "****",
                            "column": ["*"]
                        }
                    },
                    "writer": {
        
                        "name": "mysqlwriter",
                        "parameter": {
        
                            "connection": [
                                {
        
                                    "jdbcUrl": "jdbc:mysql://10.3.65.137:4000/test?characterEncoding=utf8&useSSL=false&useServerPrepStmts=true&prepStmtCacheSqlLimit=1000&useConfigs=maxPerformance&rewriteBatchedStatements=true&defaultfetchsize=-2147483648",
                                    "table": ["crm_lead"]
                                }
                            ],
                            "username": "root",
                            "password": "****",
                            "writeMode": "insert",
                            "column": ["*"]
                        }
                    }
                }
            ],
            "setting": {
        
                "speed": {
        
                    "channel": "1"
                }
            }
        }
    }

*  **Step 4: 启动Datax**

1、启动Datax

python ./datax/bin/datax.py ./datax/pg2tidb.json

2、完成结果  
![在这里插入图片描述][409f3952f23e4fda89fc19bdaa42f9c7.png_pic_center]

--------------------

## 三、TurboDX ##

TurboDX for MySQL **专门针对兼容MySQL路线的数据库作为目标库的实时同步工具软件**，支持Oracle(RAC)、SQLServer、MySQL、PostgreSQL、DB2、Informix等，全量+增量实时同步到MySQL/TiDB/Oceanbase/TDSQL/GlodenDB/SequoiaDB/GreatDB/HotDB等。

*  **Step 1: TurboDX 安装部署**

1、准备⼀台Windows环境的机器

2、下载数据迁移⼯具（TurboDX for MySQL），并成功安装

3、启动

打开Windows 服务控制面板（可直接使用Windows 自带的搜索功能，输入 “服务” 即可快速进入），找到TurboDXDB、TurboDX Server、TurboDXWEB 三项服务，并按顺序依次启动。

![在这里插入图片描述][028e65c1211f4441a07e5b121c1c1779.png_pic_center]

*  **Step 2: TurboDX 使用**

1、访问 TurboDX

本机访问：http://127.0.0.1:8422/turbodx

进入TurboDX 控制中心，默认登录用户密码为 admin/admin

![在这里插入图片描述][239e366eb1d04fd0b13f1f7baaf6f591.png_pic_center]

2、配置数据源 PostgreSQL  
![在这里插入图片描述][daaf26ccbe4840ec9cc244fa2fe96410.png_pic_center]  
3、配置需要迁移的库  
![在这里插入图片描述][c46c198eaad9412ba71b08a2901b0ec2.png_pic_center]  
4、配置目标数据库TiDB  
![在这里插入图片描述][c598a7aff79548ffb7cf471c112a91b8.png_pic_center]

5、配置迁移任务

在右侧选项菜单中，找到任务管理，选择子菜单，复制同步，点击左上角新建按钮，配置集群信息，注意全量与增量选项都要勾选，然后保存。

![在这里插入图片描述][46eca37a8d074d32aa4a4fe835cf8660.png_pic_center]

6、完善任务配置

选中任务，并点击打开。

![在这里插入图片描述][de19d155b9974d02954e95aed9e74f6a.png_pic_center]  
![在这里插入图片描述][018609dc1a73404590ca4487646f7ee3.png_pic_center]  
7、迁移目标库表结构

选择迁移库表，调整对应字段，点击确定。  
![在这里插入图片描述][7056bec1a1c84c46a41243d65f19c8c1.png_pic_center]  
![在这里插入图片描述][2060687a34de40fb96265b41b9b68fed.png_pic_center]

8、启动迁移任务

点击运行

![在这里插入图片描述][baa230e73c4c4f20ae606103046abcd4.png_pic_center]

点击确定

![在这里插入图片描述][ce639aed1fe54e8a8c6b479d6dfcbbc3.png_pic_center]

9、解决报错

![在这里插入图片描述][d13fe79b76854c8ea3de19a0649dda48.png_pic_center]

解决方法：执行 SQL 并重启 postgresql。

ALTER SYSTEM SET wal_level = 'logical';

--------------------

## 总结 ##

*  **Navicat**

\-优点：**方便快捷，操作简单**，对于经常使用 Navicat 的小伙伴来说，更加熟悉，简单的数据迁移没有问题。

\-缺点：**一方面是收费**，另外**迁移表结构的时候，有时候会报错**，应该是字段类型对应关系没做好。

*  **DataX**

\-优点：对**数据同步友好**

\-缺点：对**数据迁移不够友好**。

Datax主要是做数据同步的，在数据迁移方面有诸多不方便的地方，比如Datax是用多个task来实现数据同步的，每个task需要手动编写 json ，并指定表名与同步的字段名。

如果数据迁移的表与字段太多，task的配置就是非常耗时的一件事情，这对于数据迁移来说实在太麻烦。而且使用Datax之前，下游数据库的表结构要自己创建，工作量一下就大了。所**以数据量少的时候，可以用Datax来做数据迁移，但是有大量数据的情况下，不建议使用 Datax**。

*  **TurboDX**

\-优点：**部署简单；操作简单易懂**；能全库全表迁移，也能自由过滤指定表迁移；迁移不需要人为干预，功能齐全；表结构迁移与数据迁移是分开的两个功能，可以单独操作。

\-缺点：**社区版需要使用Windows，Linux版本需要联系官方索要**。

以上就是本期关于数据库同步迁移的调研分析内容，大家在实际项目中，可以根据自己的情况酌情选择适合的。

***说明：文章由神州数码武汉云基地团队实践整理输出，转载请注明出处。***

[06396d3344934a7cb5392e051d6d3211.png_pic_center]: https://img-blog.csdnimg.cn/06396d3344934a7cb5392e051d6d3211.png#pic_center
[9acfbb33aae141528c7c02ac51981baa.png_pic_center]: https://img-blog.csdnimg.cn/9acfbb33aae141528c7c02ac51981baa.png#pic_center
[b950ae87f4604737b917134a359ba012.png_pic_center]: https://img-blog.csdnimg.cn/b950ae87f4604737b917134a359ba012.png#pic_center
[4b2d74778ad04bd7bb396225ce220f70.png_pic_center]: https://img-blog.csdnimg.cn/4b2d74778ad04bd7bb396225ce220f70.png#pic_center
[d020e27f49ce4384a870f1dbd274b149.png_pic_center]: https://img-blog.csdnimg.cn/d020e27f49ce4384a870f1dbd274b149.png#pic_center
[5ea5a314fefa4120b5b574aacb05cdff.png_pic_center]: https://img-blog.csdnimg.cn/5ea5a314fefa4120b5b574aacb05cdff.png#pic_center
[409f3952f23e4fda89fc19bdaa42f9c7.png_pic_center]: https://img-blog.csdnimg.cn/409f3952f23e4fda89fc19bdaa42f9c7.png#pic_center
[028e65c1211f4441a07e5b121c1c1779.png_pic_center]: https://img-blog.csdnimg.cn/028e65c1211f4441a07e5b121c1c1779.png#pic_center
[239e366eb1d04fd0b13f1f7baaf6f591.png_pic_center]: https://img-blog.csdnimg.cn/239e366eb1d04fd0b13f1f7baaf6f591.png#pic_center
[daaf26ccbe4840ec9cc244fa2fe96410.png_pic_center]: https://img-blog.csdnimg.cn/daaf26ccbe4840ec9cc244fa2fe96410.png#pic_center
[c46c198eaad9412ba71b08a2901b0ec2.png_pic_center]: https://img-blog.csdnimg.cn/c46c198eaad9412ba71b08a2901b0ec2.png#pic_center
[c598a7aff79548ffb7cf471c112a91b8.png_pic_center]: https://img-blog.csdnimg.cn/c598a7aff79548ffb7cf471c112a91b8.png#pic_center
[46eca37a8d074d32aa4a4fe835cf8660.png_pic_center]: https://img-blog.csdnimg.cn/46eca37a8d074d32aa4a4fe835cf8660.png#pic_center
[de19d155b9974d02954e95aed9e74f6a.png_pic_center]: https://img-blog.csdnimg.cn/de19d155b9974d02954e95aed9e74f6a.png#pic_center
[018609dc1a73404590ca4487646f7ee3.png_pic_center]: https://img-blog.csdnimg.cn/018609dc1a73404590ca4487646f7ee3.png#pic_center
[7056bec1a1c84c46a41243d65f19c8c1.png_pic_center]: https://img-blog.csdnimg.cn/7056bec1a1c84c46a41243d65f19c8c1.png#pic_center
[2060687a34de40fb96265b41b9b68fed.png_pic_center]: https://img-blog.csdnimg.cn/2060687a34de40fb96265b41b9b68fed.png#pic_center
[baa230e73c4c4f20ae606103046abcd4.png_pic_center]: https://img-blog.csdnimg.cn/baa230e73c4c4f20ae606103046abcd4.png#pic_center
[ce639aed1fe54e8a8c6b479d6dfcbbc3.png_pic_center]: https://img-blog.csdnimg.cn/ce639aed1fe54e8a8c6b479d6dfcbbc3.png#pic_center
[d13fe79b76854c8ea3de19a0649dda48.png_pic_center]: https://img-blog.csdnimg.cn/d13fe79b76854c8ea3de19a0649dda48.png#pic_center