大数据-数仓-数据采集-业务数据（一）：全量同步（DataX、Sqoop） v.s. 增量同步（Maxwell、Canal）

忘是亡心i 2023-09-25 22:46 28阅读 0赞

![在这里插入图片描述][54cd2cc597a44ded9b229bec383a5920.png_pic_center]

![在这里插入图片描述][46a89f4355fc478d90ee64c3be569d13.png_pic_center]

## 一、全量同步策略 ##

*  **解释**：每日全量，就是每天都将业务数据库中的全部数据同步一份到数据仓库，是保证两侧数据同步的最简单的方式
 *  **适用**：表数据量不大，且每天即会有新数据插入，也会有旧的数据修改
 *  **例如**：编码字典表、品牌表、商品三级分类表、商品二级分类表、商品一级分类表、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠券表、SKU商品表、SPU商品表

![77a882fc7fa6417bae7b1c2ff97634c9.png][]

## 二、增量同步策略 ##

*  **解释**：每日增量，就是每天只将业务数据中的新增及变化的数据同步到数据仓库中，
 *  **适用**：表数据量大，且每天只会有新的数据插入的场景，
 *  **特点**：采用每日增量的表，通常会在首日先进行一个全量同步。
 *  **例如**：退单表、订单状态表、支付流水表、订单详情表、活动与订单关联表、商品评论表

![a8d4b7d3a81445f4b2f23cb7b2839736.png][]

## 三、数据同步策略的选择 ##

两种策略都能保证数据仓库和业务数据库的数据同步，那应该选择哪个呢？

<table> 
 <tbody> 
 <tr> 
 <td> 同步策略 </td> 
 <td> 优点 </td> 
 <td> 缺点 </td> 
 </tr> 
 <tr> 
 <td> 全量同步 </td> 
 <td> 逻辑简单 </td> 
 <td> 某些情况下效率低下 </td> 
 </tr> 
 <tr> 
 <td> 增量同步 </td> 
 <td> 效率高，无需同步和存储重复的数据 </td> 
 <td> 逻辑复杂，需要将每日的新增及变化数据同原来的数据进行整合，才能使用 </td> 
 </tr> 
 </tbody> 
</table>

**结论：**

**若业务表数据量比较大，且每天的数据变化比例还比较低，这时应采用增量同步，否则采用全量同步。**

![14b1d2835fb74500a5ac8aaebc195e34.png][]

## 四、同步工具概述 ##

1.种类繁多的数据同步工具中，大致可以分为两大类：

① 基于Select查询的离线、批量同步工具，代表：DataX、Sqoop；

② 基于数据库数据变更日志（mysql的binlog）的实时流式同步工具，代表：Maxwell、Canal；

2.上述同步工具的全量或增量同步适用如下：

<table> 
 <tbody> 
 <tr> 
 <td> 同步类型 </td> 
 <td> DataX、Sqoop </td> 
 <td> Maxwell、Canal </td> 
 </tr> 
 <tr> 
 <td> 全量同步 </td> 
 <td> Ö </td> 
 <td> </td> 
 </tr> 
 <tr> 
 <td> 增量同步 </td> 
 <td> Ö </td> 
 <td> Ö </td> 
 </tr> 
 </tbody> 
</table>

3.同步工具之间对增量同步不同方案的对比

<table> 
 <tbody> 
 <tr> 
 <td> 对比 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;增量同步方案 </td> 
 <td> DataX、Sqoop </td> 
 <td> Maxwell、Canal </td> 
 </tr> 
 <tr> 
 <td> 对数据库的要求 </td> 
 <td> 基于查询，需要数据中存在判别数据产生和修改的时间标记，如：create_time、update_time字段。 </td> 
 <td> 要求数据库记录变更操作，如：Mysql开启binlog </td> 
 </tr> 
 <tr> 
 <td> 中间状态 </td> 
 <td> 离线批量同步，若数据在一天中多次修改，该方案只会保留最后一个状态，中间状态如法获取。 </td> 
 <td> 由于是实时获取所有的数据变更操作，所以可以获取变更数据的所有中间状态。 </td> 
 </tr> 
 </tbody> 
</table>

*推荐：**全量同步**采用DataX，**增量同步**采用Maxwell*

--------------------

[54cd2cc597a44ded9b229bec383a5920.png_pic_center]: https://img-blog.csdnimg.cn/54cd2cc597a44ded9b229bec383a5920.png#pic_center
[46a89f4355fc478d90ee64c3be569d13.png_pic_center]: https://img-blog.csdnimg.cn/46a89f4355fc478d90ee64c3be569d13.png#pic_center
[77a882fc7fa6417bae7b1c2ff97634c9.png]: https://img-blog.csdnimg.cn/77a882fc7fa6417bae7b1c2ff97634c9.png
[a8d4b7d3a81445f4b2f23cb7b2839736.png]: https://img-blog.csdnimg.cn/a8d4b7d3a81445f4b2f23cb7b2839736.png
[14b1d2835fb74500a5ac8aaebc195e34.png]: https://img-blog.csdnimg.cn/14b1d2835fb74500a5ac8aaebc195e34.png