【建议收藏】超详细的Canal入门，看这篇就够了。

太过爱你忘了你带给我的痛 2024-03-26 18:14 66阅读 0赞

#### 概述 ####

canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。

背景

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析

> 基于日志增量订阅&消费支持的业务：

1.  数据库镜像
2.  数据库实时备份
3.  多级索引 (卖家和买家各自分库索引)
4.  search build
5.  业务cache刷新
6.  价格变化等重要业务消息

> 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

#### 工作原理 ####

Mysql的BinLog

> 它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间。主要用来备份和数据同步。

binlog 有三种模式：STATEMENT、ROW、MIXED

1.  STATEMENT 记录的是执行的sql语句
2.  ROW 记录的是真实的行数据记录
3.  MIXED 记录的是1+2，优先按照1的模式记录

举例说明

> 举例来说，下面的sql

COPYupdate user set age=20

对应`STATEMENT`模式只有一条记录，对应`ROW`模式则有可能有成千上万条记录（取决数据库中的记录数）。

MySQL主备复制原理

![957dfbd1286b11ef47c6a2a4d6ac7be3.png][]

1.  Slave 上面的IO线程连接上 Master，并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容;
2.  Master 接收到来自 Slave 的 IO 线程的请求后，通过负责复制的 IO 线程根据请求信息读取指定日志指定位置之后的日志信息，返回给 Slave 端的 IO 线程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息在 Master 端的 Binary Log 文件的名称以及在 Binary Log 中的位置;
3.  Slave 的 IO 线程接收到信息后，将接收到的日志内容依次写入到 Slave 端的Relay Log文件(mysql-relay-bin.xxxxxx)的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master- info文件中，以便在下一次读取的时候能够清楚的高速Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我”
4.  Slave 的 SQL 线程检测到 Relay Log 中新增加了内容后，会马上解析该 Log 文件中的内容成为在 Master 端真实执行时候的那些可执行的 Query 语句，并在自身执行这些 Query。这样，实际上就是在 Master 端和 Slave 端执行了同样的 Query，所以两端的数据是完全一样的。 当然这个过程本质上还是存在一定的延迟的。

> mysql的binlog文件长这个样子。

COPYmysql-bin.003831
    mysql-bin.003840  
    mysql-bin.003849  
    mysql-bin.003858

> 启用Binlog注意以下几点：

1.  Master主库一般会有多台Slave订阅，且Master主库要支持业务系统实时变更操作，服务器资源会有瓶颈；
2.  需要同步的数据表一定要有主键；

canal能够同步数据的原理

> 理解了mysql的主从同步的机制再来看canal就比较清晰了，canal主要是听过伪装成mysql从server来向主server拉取数据。

![46015871948303014c1b8714d712a7fa.png][]

1.  canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2.  mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3.  canal解析binary log对象(原始为byte流)

#### Canal架构 ####

canal的设计理念

> canal的组件化设计非常好，有点类似于tomcat的设计。使用组合设计，依赖倒置，面向接口的设

[957dfbd1286b11ef47c6a2a4d6ac7be3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/de79b79d5b564330ac23464e627f29dc.png
[46015871948303014c1b8714d712a7fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a725a647c2ad4e7b90c9b704de37ab4f.png