ELK日志排序混乱

小鱼儿 2022-12-20 02:44 134阅读 0赞

**1、现象**

环境使用的是7.4,filebeat,kafka,logstash,es

排序字段是@timestamp，由于是filebeat批量收集提交的，所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序，有部分时间的日志在中间，如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70][]

**2、分析**

@timestamp字段是经过filebeat处理时添加的，可以通过修改filebeat配置文件，把收集后的日志输出到本地文件，可以看出来多了时间字段。

**3、解决方案**

这里采用logstash重写@timestamp字段的修复方式。

logstash启动配置文件（本次使用的配置文件是logstash.conf）新增以下配置：

filter {
        grok {
            match => ["message","%{TIMESTAMP_ISO8601:log.date}"]
        }
        date {
            match => ["log.date", "yyyy-MM-dd HH:mm:ss,SSS"]
            target => "@timestamp"
     
        }
    }

重启logstash,需要等一会才能生效，注意时间。

**4、正常的效果**

两个时间是一样的了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70]: /images/20221120/eb52db02447545c99bdf9b69d8f3d2d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201110013058461.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x1b3Fpbmdsb25nODUwMTAy,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，134人围观）

还没有评论，来说两句吧...

相关阅读

相关 ELK 日志收集

文章目录方案部署 FileBeat helm部署 yaml 部署部署 Elastic 安装 eck

我会带着你远行/ 2024年04月03日 06:53/ 0 赞/ 110 阅读

相关混乱的JAVA日志体系

> [https://blog.csdn.net/millmanxh/article/details/9835391][https_blog.csdn.net_millmanx

曾经终败给现在/ 2023年05月21日 15:10/ 0 赞/ 21 阅读

相关 ELK日志排序混乱

1、现象环境使用的是7.4,filebeat,kafka,logstash,es 排序字段是@timestamp，由于是filebeat批量收集提交的，所以该字段的值是一

小鱼儿/ 2022年12月20日 02:44/ 0 赞/ 135 阅读

相关 elk日志上报

（一）ELK介绍： Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案 Logstash：负责日志的收集，处理和储存

分手后的思念是犯贱/ 2022年10月01日 00:47/ 0 赞/ 197 阅读

相关 ELK日志系统

作为系列文章的第四篇，本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日

本是古典何须时尚/ 2022年06月14日 23:55/ 0 赞/ 326 阅读

相关 ELK日志分析系统

文章转载自：[http://467754239.blog.51cto.com/4878013/1700828][http_467754239.blog.51cto.com_48

小鱼儿/ 2022年06月12日 05:55/ 0 赞/ 253 阅读

相关 ELK 日志分析系统

大纲：一、简介二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 [ELK][]由El

浅浅的花香味﹌/ 2022年06月04日 01:53/ 0 赞/ 400 阅读

相关 elk 日志入门笔记

1、调整elasticsearch的内存(elasticsearch 2.3.4) 修改bin目录下的elasticsearch.in.sh中的ES\_MAX\_MEM将其修

柔情只为你懂/ 2022年06月03日 03:00/ 0 赞/ 178 阅读

相关 ELK(12)：ELK+kafka(日志量中等)

ELK(12)：ELK+kafka(日志不太多) 我们先用logstash读取Nginx日志和系统日志写入kafka，再用logstash读取出来写入elasticsea

超、凢脫俗/ 2021年10月29日 15:12/ 0 赞/ 344 阅读

相关 ELK日志系统介绍

1.为什么要用ELK系统：当我们的系统发生故障时，我们需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没

水深无声/ 2021年10月19日 07:10/ 0 赞/ 435 阅读