docker容器中Canal的安装配置和redis的回收策略

傷城~ 2024-03-16 18:12 32阅读 0赞

## 1、mysql主服务器的配置 ##

### 1.1 进入mysql中检查binlog是否开启 ###

show VARIABLES like 'log_%'

![0702e467fffa443f80bf8bff15255e48.png][]

### 1.2 在mysql中创建用户canal ###

分别运算下列语句

create user 'canal'@'%' IDENTIFIED with mysql_native_password by 'canal';
    
    grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%';
    
    FLUSH PRIVILEGES;

## 2、安装Canal的docker容器 ##

### 2.1 查询镜像 ###

> \[root@localhost ~\]\# docker search canal

![01d277d428604c698988cfae5528789d.png][]

### 2.2 拉取镜像 ###

> \[root@localhost ~\]\# docker pull docker.io/canal/canal-server

##  ##

### 2.3 配置文件 ###

*  在/usr/local/文件目录下创建software/canal/conf文件目录

> \[root@localhost local \]\# mkdir -p software/cancl/conf

*  复制Canal文件中的文件到当前cancl/conf文件夹下

cp canal:/home/admin/canal-server/conf/canal.properties  /usr/local/software/canal/conf
    
    cp canal:/home/admin/canal-server/conf/instance.properties  /usr/local/software/canal/conf

*  修改文件权限

> \[root@localhost conf\]\# chmod 777 \*.properties

*  查询mysql主服务器容器的IP地址

> \[root@localhost conf\]\# docker inspect mysql\_3306 |grep IPA  
> "SecondaryIPAddresses": null,  
> "IPAddress": "172.17.0.2",  
> "IPAMConfig": null,  
> "IPAddress": "172.17.0.2",

*  查询mysql主服务的状态

> //进入MySQL容器
> 
> \[root@localhost conf\]\# docker exec -it mysql\_3306 bash
> 
> //启动MySQL  
> bash-4.4\# mysql -uroot -p123
> 
> //查看状态
> 
> mysql> show master status；

![6ac2a2cecae94172989d1499c15e861d.png][]

*  修改instance.properties 配置文件

5 # enable gtid use true/false
      6 canal.instance.gtidon=false
      7 
      8 # position info
      9 canal.instance.master.address=172.17.0.2:3306  #mysql容器的IP地址和端口号
     10 canal.instance.master.journal.name=mysql-bin.000006 #数据库状态的File值
     11 canal.instance.master.position=3771971 #数据库状态的Position值
     12 canal.instance.master.timestamp=
     13 canal.instance.master.gtid=
     14 
    
     32 # username/password
     33 canal.instance.dbUsername=root   #数据库登录用户名
     34 canal.instance.dbPassword=123    #数据库登录密码
     35 canal.instance.connectionCharset = UTF-8
     36 # enable druid Decrypt database password
     37 canal.instance.enableDruid=false
     38 #canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GC    Mo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

### 2.4创建Canal的docker容器 ###

[root@localhost conf]# docker run -itd  --name canal  -p 11111:11111 --privileged=true  
    -v /usr/local/software/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties  
    -v  /usr/local/software/canal/conf/canal.properties:/home/admin/canal-server/conf/example/canal.properties    
    canal/canal-server
    f9e8a8c5c661401826d6b12916442b45198560210dd4d5121054dd82da2b6a61

> \-v /usr/local/software/canal/conf/instance.properties:/home/admin/canal-server/conf/example/instance.properties 前面时自己创建的conf文件目录中的instance.properties的地址 后面时canal文件中的instance.properties地址

## 3、测试代码 ##

Canal官网：[ClientExample · alibaba/canal Wiki · GitHub (kgithub.com)][ClientExample _ alibaba_canal Wiki _ GitHub _kgithub.com]

![bb87bec5758a47b78fe3ee277676deae.png][]

![1bfd617082234360b76cce624fa6416c.png][]

### 3.1 在springboot项目中导入Canal依赖 ###

<dependency>
        <groupId>com.alibaba.otter</groupId>
        <artifactId>canal.client</artifactId>
        <version>1.1.0</version>
    </dependency>

### 3.2 测试代码 ###

将官网中的ClientSample代码复制到项目中

![ddcee877d97248fcbca427a1ec7f4578.png][]

![47f8e6da195a47619b25a4b928548ac8.png][]

将代码做一些修改

final InetSocketAddress HOST = new InetSocketAddress("192.168.121.128",11111);
            CanalConnector connector = CanalConnectors.newSingleConnector(HOST, "example", "", "");
            int batchSize = 1000;
            int emptyCount = 0;

## 4、redis的回收策略 ##

redis的回收机制有两种方式，一是清除过期的键对象，二是内存到达上限触发内存淘汰策略。

### 4.1 清除过期的键对象 ###

redis所有的key都设置了过期属性，redis保存了大量的key，要精准保证每个键的过期删除机制太消耗CPU，这对单线程的redis来说付出的代价比较大，因此Redis采用**惰性删除**和**定时任务删除**机制实现过期键的内存回收。

**- 惰性删除**：惰性删除用于当客户端读取带有超时属性的键时，如果已经超过键设置的过期时间，会执行删除操作并返回空，这种策略是出于节省CPU成本考虑，不需要单独维护TTL链表来处理过期键的删除。但是单独用这种方式存在内存泄露的问题，当过期键一直没有访问将无法得到及时删除，从而导致内存不能及时释放。正因为如此，Redis还提供另一种定时任务删除机制作为惰性删除的补充。  
**- 定时任务删除**：Redis内部维护一个定时任务，默认每秒运行10次（通过配置hz控制）。定时任务中删除过期键逻辑采用了自适应算法，根据键的过期比例，使用快慢两种速率模式回收键。

### 4.2淘汰策略 ###

当Redis所用内存达到上限时会触发相应的淘汰策略，redis默认的淘汰策略为noeviction。

1.  volatile-lru：从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。
2.  volatile-ttl：从已设置过期时间的数据集中挑选将要过期的数据淘汰。
3.  volatile-random：从已设置过期时间的数据集中任意选择数据淘汰。
4.  volatile-lfu：从已设置过期时间的数据集挑选使用频率最低的数据淘汰。
5.  allkeys-lru：从数据集中挑选最近最少使用的数据淘汰
6.  allkeys-lfu：从数据集中挑选使用频率最低的数据淘汰。
7.  allkeys-random：从数据集（server.db\[i\].dict）中任意选择数据淘汰
8.  no-enviction（驱逐）：禁止驱逐数据，这也是默认策略。意思是当内存不足以容纳新入数据时，新写入操作就会报错，请求可以继续进行，线上任务也不能持续进行，采用no-enviction策略可以保证数据不被丢失

[(9条消息) 超全详解Redis（8种）数据淘汰策略\_redis淘汰策略\_Adam\`南帝·梁的博客-CSDN博客][9_ _Redis_8_redis_Adam_-CSDN][Redis内存回收策略 - 简书 (jianshu.com)][Redis_ - _ _jianshu.com]

[0702e467fffa443f80bf8bff15255e48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/868f85d025944a3b894fde45c4d98cb0.png
[01d277d428604c698988cfae5528789d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4f684fe251984854a581d6a1944b9f30.png
[6ac2a2cecae94172989d1499c15e861d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4ff1c05c5bd242a39d2db47d96a372ee.png
[ClientExample _ alibaba_canal Wiki _ GitHub _kgithub.com]: https://kgithub.com/alibaba/canal/wiki/ClientExample
[bb87bec5758a47b78fe3ee277676deae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/3a5f25b398764032a37eebb93d02046e.png
[1bfd617082234360b76cce624fa6416c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/14b5c8ff997b4029a70e0269153d6f81.png
[ddcee877d97248fcbca427a1ec7f4578.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4027ffdef38f49a2a0bd2a6e9cbfbada.png
[47f8e6da195a47619b25a4b928548ac8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1a2f03db06d74291aa9f6ab2e97a6838.png
[9_ _Redis_8_redis_Adam_-CSDN]: https://blog.csdn.net/l_mloveforever/article/details/111665927
[Redis_ - _ _jianshu.com]: https://www.jianshu.com/p/6a5eb0ddf57b