mysql主从和canal_MySQL协议和canal实现

我就是我 2023-01-11 13:24 176阅读 0赞

前言

前面的文章里，我们了解到 canal 可以从 MySQL 中感知数据的变化。这是因为它模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，从而实现了主从复制。

正是了解到这一点，笔者有两个问题便一直萦绕于心：

它是如何模拟 MySQL slave 交互协议的？

它又是怎么解析 binlog 日志的呢？

今天，笔者准备就着这两个问题，扒拉扒拉 canal 的代码，一探究竟。

一、MySQL 主从复制

在谈 canal 之前，我们有必要再重温下 MySQL 主从复制的原理。

![e5230b9e966f51ece64e760af7651915.png][]

总结上图的流程如下：

MySQL master 将数据变更写入二进制日志 (binary log , 其中记录叫做二进制日志事件binary log events)；

MySQL slave 将 master 的 binary log events 拷贝到它的中继日志 (relay log)；

MySQL slave 重放 relay log 中的事件，将数据变更反映到自己的数据库。

二、canal 原理

![0ec74978f85595b5358db289f9932252.png][]

上图就很形象的描述了 canal 的角色。它的原理也很简单：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议；

mysql master收到dump请求，开始推送binary log给slave(也就是canal)；

canal解析binary log对象(原始为byte流)；

canal将解析后的对象，根据业务场景，分发到比如 MySQL 、RocketMQ 或者 ES 中。

三、源码启动

看完了 MySQL 主从复制和 canal 原理之后，为了方便 debug ，笔者已经在 GitHub Fork 了源码，并导入本地。

可以找到 com.alibaba.otter.canal.deployer.CanalLauncher 类，它就是 canal 独立版本启动的入口类。

在这里，直接运行 main 方法即可运行 canal ，和在 /canal/bin/startup.sh 中效果一样。

事实上，canal 的代码比较多，在架构上又分了很多模块设计，比如事件解析器、事件消费、内存存储、服务实例、元数据、高可用等。

本文不打算面面俱到介绍每一个的实现，那就得正儿八经写一个 canal 系列才行。主要还是为了开头我们提出的那两个问题。

四、如何模拟slave ?

上面我们已经说到，CanalLauncher是canal 启动的入口类。

运行 main 方法之后， canal 会先做很多准备工作。比如加载配置文件、初始化消息队列、启动 canal Admin、加载Spring配置、注册钩子程序等。

canal 模拟 slave 协议，是在EventParser模块中开始进行的。

![e20c04a24228eeb815eeff3c1516ab18.png][]

在 canal 代码中，整个流程简化如下：

// 开始执行replication

// 1. 构造Erosa连接

ErosaConnection erosaConnection = buildErosaConnection();

// 2. 启动一个心跳线程

startHeartBeat(erosaConnection);

// 3. 执行dump前的准备工作

preDump(erosaConnection);

erosaConnection.connect();// 链接

// 查询master serverId

long queryServerId = erosaConnection.queryServerId();

if (queryServerId != 0) \{

serverId = queryServerId;

// 4. 获取binlog最后的位置信息

EntryPosition position = findStartPosition(erosaConnection);

final EntryPosition startPosition = position;

// 加载元数据

processTableMeta(startPosition);

// 重新链接，因为在找position过程中可能有状态，需要断开后重建

erosaConnection.reconnect();

// 4. 开始dump数据

erosaConnection.dump(startPosition.getJournalName(),startPosition.getPosition(),sinkHandler);

复制代码

1、握手、验证

在开始之前，canal 必须先要和 MySQL 服务器建立连接，并完成客户端身份验证。

在 MySQL 中，连接过程协议如下：

![bc3fd21451c4cec0b2e0cd2c612c4ddd.png][]

在代码中，我们看一下它的连接方法：

![3ab613fbe2eff5ac7f63f7fcdc38200c.png][]

其中，negotiate方法是握手协议和客户端验证的具体实现。就是按照 MySQL 的协议规范，通过上面创建的Socket channel来读写网络数据。

2、dump前的准备

正确连接到 MySQL 后，在开始执行 dump 指令之前，还要初始化一些配置信息。

思路就是通过 MySQL 执行器，执行 SQL 语句，获取信息。

代码就不粘了，不过它们执行的语句如下：

show variables like 'binlog\_format' \#获取binlog format格式

show variables like 'binlog\_row\_image' \#获取binlog image格式

show variables like 'server\_id' \#获取matser serverId

show master status \#获取binlog名称和position

复制代码

3、注册slave

现在开始调用 erosaConnection.dump(binlogfilename,binlogPosition,func)方法，来注册slave和发送dump命令。

在使用COM\_BINLOG\_DUMP请求binlog事件之前发送，在主服务器上注册一个从服务器，它的指令是COM\_REGISTER\_SLAVE。

![dc402264a4d4f396f715b00d2a513302.png][]

注册完之后，就是发送dump请求，它的指令是COM\_BINLOG\_DUMP。

![9ac06e6f336eb846944dc58fa400fca5.png][]

在执行完这段代码后，我们通过show processlist;查看进程，就可以看到这个dump线程的状态。

user

host

command

time

state

139

canal

localhost:62901

null

Binlog Dump

Master has sent all binlog to slave; waiting for more updates

五、如何解析binlog数据 ?

在上面章节中，我们已经看到，MySQL主服务器已经接受了 canal 这个从服务器，那么当canal拿到binlog内容后， 又是怎么解析它的呢？

首先，还记得在配置MySQL服务器的时候，我们将binlog-format设置为ROW模式，它是基于行的复制。

binlog中每一个数据变更可以叫做事件，在ROW模式下，有几个主要的事件类型：

事件

SQL命令

rows 内容

TABLE\_MAP\_EVENT

null

定义将要更改的表。

WRITE\_ROWS\_EVENT

插入

要插入的行数据

DELETE\_ROWS\_EVENT

删除

被删除的数据

UPDATE\_ROWS\_EVENT

更新

原数据+要更改的数据

每一次数据的变更，都会触发2个事件，先把要更改的表信息告诉你，然后再告诉你更改的row内容。

比如TABLE\_MAP\_EVENT + WRITE\_ROWS\_EVENT。

canal在接收到binlog数据后，并不会马上把它解析成我们熟悉的JSON数据，而是在发送的时候才开始。

比如我们选择使用RocketMQ，那么在发送之前才开始将binlog里面的byte数组转化为对象。

// 并发构造

EntryRowData\[\] datas = MQMessageUtils.buildMessageData(message, executor);

// 串行分区

List flatMessages = MQMessageUtils.messageConverter(datas, message.getId());

复制代码

在这两个方法里，就完成了byte数组到对象的转化。转化成的FlatMessage对象，就成了我们在消息队列中消费到的数据结构。

public class FlatMessage implements Serializable \{

private long id;

private String database;

private String table;

private List pkNames;

private Boolean isDdl;

private String type;

// binlog executeTime

private Long es;

// dml build timeStamp

private Long ts;

private String sql;

private Map sqlType;

private Map mysqlType;

private List> data;

private List> old;

复制代码

总结

正如本文开头所言，笔者在刚了解到canal机制的时候，确实觉得很不可思议。

咦，它是怎么模拟MySQL slave的呢 ？ 总觉得是不是有啥黑科技在里面。。。

事实上，这是源于笔者对MySQL的无知。

MySQL早就制定好了各种接口协议，怎么连接、验证、注册和dump都明明白白的写在那儿啦。

正是应了那句话：花开正好，只待君来~

[e5230b9e966f51ece64e760af7651915.png]: /images/20221119/a87a4b15b7ef4623ba94638db509a17a.png
[0ec74978f85595b5358db289f9932252.png]: /images/20221119/8ebf2216751f4e4eb2b4b071e12e312a.png
[e20c04a24228eeb815eeff3c1516ab18.png]: /images/20221119/9bf2065a3de3480bb533e48e693f6b16.png
[bc3fd21451c4cec0b2e0cd2c612c4ddd.png]: https://img-blog.csdnimg.cn/img_convert/bc3fd21451c4cec0b2e0cd2c612c4ddd.png
[3ab613fbe2eff5ac7f63f7fcdc38200c.png]: https://img-blog.csdnimg.cn/img_convert/3ab613fbe2eff5ac7f63f7fcdc38200c.png
[dc402264a4d4f396f715b00d2a513302.png]: https://img-blog.csdnimg.cn/img_convert/dc402264a4d4f396f715b00d2a513302.png
[9ac06e6f336eb846944dc58fa400fca5.png]: https://img-blog.csdnimg.cn/img_convert/9ac06e6f336eb846944dc58fa400fca5.png