线上项目Java日志膨胀的解决方案

偏执的太偏执、 2021-12-12 15:04 553阅读 0赞

*  **项目背景：**

由于项目中使用了40多个定时任务，每个定时任务一个小时执行一次。这时候项目中产生的日志文件就非常多，特别占用磁盘空间。

先来看一下线上日志情况：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70][]

为了更好的查找日志，刚开始的时候把每个日志的大小限制为2048M，每50个日志文件滚动一次，此时明显的看到所有的日志占用的磁盘空间为52G，已经快到零界点了。

![20190712115213187.png][]

*  **第一次优化：**

将每个日志文件大小从2048M改成200M，运行一段时间之后发现还是会导致磁盘空间不够用的情况。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70 1][]

** 这里发现一个问题：**

a.每个日志文件大小确实是200M，也确实是50个日志文件滚动一次，但是多天以前的日志并没有删除，导致日志占用磁盘空间太多。

*  **第二次优化：**

这里有两种优化方案：

1.通过log4j2的自动清理日志功能来删除旧日志。

注：filePattern粒度和age的粒度应该保持一致，否则不生效。

2.通过添加linux定时任务来删除日志文件

a.新建一个执行脚本del.sh

find /data/logs/test -mtime +0 -name "*log*" -exec rm -f {} \; #删除一天前的日志（不含当天）

b.赋予执行权限,对当前目录下的del.sh文件的所有者增加可执行权限。

chmod u+x del.sh

c.进入自己的crontab文件，添加定时任务。

vi /var/spool/cron/root     #进入linux系统定时任务目录，添加以下命令
    30 0 * * * /usr/local/test/del.sh    #半个小时执行一次删除命令

d. 查看用户的定时任务列表，看看定时任务是否添加成功。

crontab -l

最后，选择了添加linux定时任务的方法解决了日志膨胀导致磁盘不够用的情况，因为这种方法不需要改动线上代码，相对来说比较简单。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70]: /images/20211210/0f346198ea2148a8a97e7cb808d4c6b8.png
[20190712115213187.png]: /images/20211210/e1aaf42141d14457914393198de74b6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70 1]: /images/20211210/eb9d7c2f6bb74291856f883e6f828212.png