Apache ZooKeeper - 线上系统日志清理

小鱼儿 2022-12-29 14:02 121阅读 0赞

### 文章目录 ###

*  PurgeTxnLog
 *   *  源码分析
 *  crontab

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70]

# PurgeTxnLog #

## 源码分析 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70 2]

使用 PurgeTxnLog 则可以在编写清除脚本的时候调用 ZooKeeper 提供的工具类完成日志清理工作。

编写 PurgeTxnLog 类的调用程序，系统就会自动通过 PurgeTxnLog 工具类完成对应日志文件的清理工作。

#!/bin/sh  
    
    java -cp "$CLASSPATH" org.apache.zookeeper.server.PurgeTxnLog 
    
    echo "清理完成"

--------------------

# crontab #

设定 ZooKeeper 快照和数据日志的对应文件夹路径，并通过 shell 脚本和管道和 find 命令 查询对应的日志下的日志文件，这里我们保留最新的 10 条数据日志，其余的全部清理.

#!/bin/bash 
    
    dataDir=/home/zk/zk_data/version-2 
    
    dataLogDir=/home/zk/zk_log/version-2 
    
    ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f 
    
    ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f 
    
    ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f  
    
    find /home/home/zk/zk_data/version-2 -name "snap*" -mtime +1 | xargs rm -f                              
    
    find /home/home/zk/zk_data/version-2 -name "snap*" -mtime +1 | xargs rm -f               
    
    find /home/home/zk/zk_data/logs/ -name "zookeeper.log.*" -mtime +1 | xargs rm –f

配置cron : 每天早上的 6 点到 8 点执行

0 6-8 * * * /usr/bin/logsCleanWeek.sh>/dev/null 2>&1

crontab 定时脚本的方式相对灵活，可以按照业务需求来设置处理日志的维护方式，比如仅希望定期清除 ZooKeeper 服务运行的日志，而不想清除数据快照的文件，则可以通过脚本设置，达到只对数据日志文件进行清理的目的。

![在这里插入图片描述][20201222211443986.png]

走了~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70]: /images/20221120/5b2abdf71571403f94b266070662c023.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70 1]: /images/20221120/f87e9b0897b442a88dc22d2e9f788e70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdzaGFuZ3dlaQ_size_16_color_FFFFFF_t_70 2]: /images/20221120/58a3879e563e41dabccad51c8dadd190.png
[20201222211443986.png]: /images/20221120/ead02bf0db494a48a34bf663868a629a.png