Canal安装部署

妖狐艹你老母 2022-12-06 05:43 281阅读 0赞

### 目录 ###

*  配置Mysql
 *  安装 canal 和启动
 *  Canal HA服务器配置
 *   *  客户端HA模式配置

# 配置Mysql #

*  步骤 1: 赋权限(可以省略, 后面都是使用的root用户)

GRANT ALL PRIVILEGES ON *.* TO canal@'%' IDENTIFIED BY 'canal';

*  步骤 2: 开启 binlog  
    打开文件/etc/my.cnf, 如果没有就创建一个  
    添加如下配置:

[mysqld]
    server-id= 1
    log-bin= mysql-bin
    binlog_format= row

*  步骤 3: 重启 mysql 使 binlog 生效

service mysql restart

进入 mysql

show variables like 'log_%';

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]

# 安装 canal 和启动 #

*  步骤 1: 下载 Canal

wget https://github.com/alibaba/canal/releases/download/canal-1.1.2/canal.deployer-1.1.2.tar.gz

或者去github下载  
[https://github.com/alibaba/canal/releases][https_github.com_alibaba_canal_releases]

*  步骤 2: 解压

mkdir /export/servers/canal
    tar -zxvf canal.deployer-1.1.2.tar.gz -C /export/servers/canal

1.conf/canal.properties canal 的通用配置, 主要关注下canal.port, 默认是11111  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]  
2. conf/example/instance.properties instance.properties是针对要追踪的 mysql 的实例配置  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3][]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 4]

*  步骤 3: 启动 canal

bin/startup.sh

![在这里插入图片描述][20200913123453758.png_pic_center]

*  步骤 4: 查看日志  
    ![在这里插入图片描述][20200913123515407.png_pic_center]
 *  步骤 5: 关闭 Canal

bin/stop.sh

# Canal HA服务器配置 #

按照部署和配置，在单台机器上各自完成配置，演示时instance name为example  
修改canal.properties，加上zookeeper配置

canal.zkServers=hadoop102:2181,hadoop103,hadoop104
    canal.instance.global.spring.xml = classpath:spring/default-instance.xml

创建example目录，并修改instance.properties

canal.instance.mysql.slaveId = 1234 ##另外一台机器改成1235，保证slaveId不重复即可
    canal.instance.master.address = hadoop102:3306

注意： 两台机器上的instance目录的名字需要保证完全一致，HA模式是依赖于instance name进行管理，同时必须都选择default-instance.xml配置  
**启动两台机器的canal**

-------
    ssh hadoop102
    sh bin/startup.sh
    --------
    ssh hadoop103
    sh bin/startup.sh

可以看运行的机器

[zk: localhost:2181(CONNECTED) 6] ls /otter/canal/cluster
    [192.168.121.140:11111, 192.168.121.141:11111, 192.168.121.142:11111]

也可以看谁是主节点

[zk: localhost:2181(CONNECTED) 0] get /otter/canal/destinations/example/running
    { "active":true,"address":"192.168.121.141:11111","cid":1}

## 客户端HA模式配置 ##

直接取若干个Canal客户端，如果同时启动，只有一个客户端能从Canal服务器端获取到binlog消息，其他客户端不能拉取到binlog消息。  
从运行配置中，复制一个同样的配置。然后启动运行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/503d702cf30942aa9b00ba6c8cbefdee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/a5ca531eabbe47bea2d92a9df415b070.png
[https_github.com_alibaba_canal_releases]: https://github.com/alibaba/canal/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/14f153efb9934fcd860887bcba24bf94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/bd4617c64a9d4df6849c09155d4e88d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/1bb4107b42f84f38ae034c4e3934eaf2.png
[20200913123453758.png_pic_center]: /images/20221123/7e5e20d849f8463db80c3b2c0eb8bf97.png
[20200913123515407.png_pic_center]: /images/20221123/be413f6168c142e7997a727978ff3b92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221123/fcf67ba8a0d345bbac7746c89ebd000a.png