elasticsearch日志清理脚本

我不是女神ヾ 2022-10-09 12:24 277阅读 0赞

问题描述：  
对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志；

解决办法  
1）创建脚本

vi rm_es_log.sh
    chmod +x rm_es_log.sh

默认只保留最近7天的日志，可以传入参数清理其他时间的日志；  
我的elasticsearch有权限控制，如果无密码方式登录，需要去掉-u参数

#!/bin/sh
    ####################################
    # File Name: rm_es_log.sh
    # Version: V1.0
    # Author: hury
    # Created Time : 2019-09-09 12:26:14
    ####################################
    IP=服务器IP
    CURRENT_DIR=$PWD
    LOG_DIR=$CURRENT_DIR/del_es_index.log
    DAYS=7
    
    if [ "$#" -eq "1" ];then
    	DAYS=$1
    fi
    echo "will delete es logs :" `date -d "$DAYS days ago" +%Y.%m.%d`
    
    curl -XGET "http://$IP:9200/_cat/shards" -u 用户名：密码 |grep $IP |awk '{print $1}' |grep `date -d "$DAYS days ago" +%Y.%m.%d` |uniq > $CURRENT_DIR/index_name.tmp
    for index_name in `cat $CURRENT_DIR/index_name.tmp`
    do
        curl -XDELETE  http://$IP:9200/$index_name -u 用户名：密码 | grep true
    	if [ $? -eq 0 ];then
    		echo "${index_name} delete success." >> $LOG_DIR
    	else
    		echo "${index_name} delete error." >> $LOG_DIR
    	fi
    Done

2）添加计划任务  
linux下添加计划任务：

0 0 1 * * * /PATH_TO_SCRIPT/rm_es_logs.sh >/dev/null 2>&1

windows下计划任务：  
上述任务如何在windows下执行，首先需要安装git软件，然后配置计划任务。

–END–

发表评论取消回复

表情：

评论列表（有 0 条评论，277人围观）

还没有评论，来说两句吧...

相关阅读

相关 Monogo日志文件旋转，并定期清理脚本

每日生成Monogo日志文件，并定期清理脚本。 (请注意：本脚本如果以定时任务运行，如果数据库在恢复过程中，请一定记得要关闭该任务，不然，会导致恢复成功后，Mongo进程

雨点打透心脏的1/2处/ 2023年06月25日 03:28/ 0 赞/ 24 阅读

相关 ELK 设置定时清理脚本清理索引

文章目录 ELK 设置定时清理脚本清理索引 1、elasticsearch 查询索引接口 2、其它接口

分手后的思念是犯贱/ 2022年11月17日 10:24/ 0 赞/ 299 阅读

相关 CDH日志清理

备注: CDH 版本: 6.3.1 背景 CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。一.查看问题 CDH的日志文件一般

Love The Way You Lie/ 2022年11月09日 14:19/ 0 赞/ 589 阅读

相关 zookeeper日志清理

导语：zk 清理，灰度服务器告警，发现zk日志一直没有清理需要清理的文件进入到dataDir下的version-2文件夹，version-2文件夹下存放的是zook

水深无声/ 2022年11月09日 12:33/ 0 赞/ 486 阅读

相关 elasticsearch日志清理脚本

问题描述：对于免费版本的elk，默认情况会保留全部数据，如果不及时清理，生产环境3个月的累计数据量为27G，平均每月增加9G，本文讲解如何定期清理elk日志；解决办法

我不是女神ヾ/ 2022年10月09日 12:24/ 0 赞/ 278 阅读

相关清理elasticsearch的索引

直接到 elasticsearch data文件夹里删掉就行了，但怎么也得做的有点技术含量不是？上网站看了看文档，其实也挺简单一条命令就行了 curl -XDE

谁践踏了优雅/ 2022年07月12日 04:20/ 0 赞/ 179 阅读

相关清理elasticsearch的索引

直接到 elasticsearch data文件夹里删掉就行了，但怎么也得做的有点技术含量不是？上网站看了看文档，其实也挺简单一条命令就行了 curl -XDE

古城微笑少年丶/ 2022年07月12日 04:20/ 0 赞/ 223 阅读

相关 Linux下清理日志及自动清理

liunx下清理日志一、find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf \{\} \\; 此处我以tomcat下 logs目录

r囧r小猫/ 2022年05月20日 04:58/ 0 赞/ 386 阅读

相关 Docker容器日志清理，编写脚本

\!/bin/sh echo "==================== start clean docker containers logs ==============

墨蓝/ 2022年05月15日 00:54/ 0 赞/ 279 阅读

相关 Linux定时清理日志脚本

定时清理日志脚本说明脚本用于清除某一文件夹中n天前的 \.log 文件,可以通过参数控制 n 的大小。原理使用find 命令查询当前路径中创建时间是

柔光的暖阳◎/ 2022年03月17日 06:28/ 0 赞/ 440 阅读