canal简介

妖狐艹你老母 2022-06-10 05:16 303阅读 0赞

1.简介

canal是纯Java开发的，基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。

原理相对比较简单：

1.  1.      canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2.  2.      mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3.  3.      canal解析binary log对象(原始为byte流)

如下图：

2.mysql要求

a. 目前canal支持mysql 5.5版本以下，对mysql5.6暂不支持，(mysql4.x版本没有经过严格测试，理论上是可以兼容)

b. canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，并且配置binlog模式为row.

\[mysqld\]

log-bin=mysql-bin \#添加这一行就ok

binlog-format=ROW \#选择row模式

server\_id=1 \#配置mysql replaction需要定义，不能和canal的slaveId重复

下面两个配置强烈建议配置，这样可以减小binlog的大小，忽略不需要关注的库的binlog

binlog-do-db = epg \#配置需要同步的库

binlog-ignore-db = mysql \#配置不需要同步的库

c.  canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限

CREATE USER canal IDENTIFIED BY 'canal';

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON \*.\* TO 'canal'@'%';

GRANT SELECT,REPLICATION SLAVE, REPLICATION CLIENT ON \*.\* TO canal[@localhost][localhost] ;

FLUSH PRIVILEGES;

针对已有的账户可通过grants查询权限：

show grants for 'canal';

3.部署

1. 获取发布包

访问：[https://github.com/alibaba/canal/releases][https_github.com_alibaba_canal_releases],会列出所有历史的发布版本包

下载方式，比如以1.0.17版本为例子：

wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz

下载到的文件，名字不对，需要重命名，命令如下：

Mv 下载的文件 canal.deployer-1.0.17.tar.gz

2. 目录结构

解压缩发布包后，可得如下目录结构：

drwxr-xr-x 2 jianghang jianghang  136 2013\-03\-19 15:03 bin

drwxr-xr-x 4 jianghang jianghang  160 2013\-03\-19 15:03 conf

drwxr-xr-x 2 jianghang jianghang 1352 2013\-03\-19 15:03 lib

drwxr-xr-x 2 jianghang jianghang   48 2013\-03\-19 15:03 logs

3. 启动/停止

linux启动 :

sh startup.sh

linux停止：

sh stop.sh

几点注意：

1.    linux启动完成后，会在bin目录下生成canal.pid，stop.sh会读取canal.pid进行进程关闭

2.    startup.sh默认读取系统环境变量中的which java获得JAVA执行路径，需要设置PATH=$JAVA\_HOME/bin环境变量

3.    canal的内存设置在start.sh中第75或77行，（建议将75和77行的内存设置值保持相同）如下：

4.配置

properties配置分为两部分：

*  canal.properties  (系统根配置文件，/conf/canal.properties)

需要关注的配置项如下：

1.  1.    canal.port：canal server提供socket服务的端口，建议配置32121
2.  2.    canal.instance.detecting.enable：是否开启心跳检查，建议配置true
3.  3.    canal.instance.detecting.sql：心跳检查sql，建议配置select 1 from 目标库.目标表
4.  4.    canal.destinations：当前server上部署的instance列表，比如需要获取epg库的表更新则可以创建一个名为epg的instance，则配置canal.destinations = epg，同时需要在/conf/下新建epg目录，并在其中创建instance.properties即可
5.  l  instance.properties  (instance级别的配置文件，每个instance一份，/conf/实例名称/ instance.properties)

需要关注的配置项如下：

1.  1.    canal.instance.mysql.slaveId：mysql集群配置中的serverId概念，需要保证在当前mysql集群中id唯一
2.  2.    canal.instance.master.address：mysql主库链接地址，ip：端口，如：127.0.0.1:3306
3.  3.    canal.instance.defaultDatabaseName：mysql链接时默认数据库，建议设置成需要同步的库名
4.  4.    canal.instance.connectionCharset：mysql 数据解析编码，建议和数据库编码方式保持一致
5.  5.    canal.instance.filter.regex：mysql 数据解析关注的表，Perl正则表达式。多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\\\)，例如只关注mysql库里的user表的更新，则配置为mysql.user

[localhost]: http://my.oschina.net/u/570656
[https_github.com_alibaba_canal_releases]: https://github.com/alibaba/canal/releases