logstash之multiline 插件合并多行数据

柔情只为你懂 2023-06-16 02:29 9阅读 0赞

在处理日志时，除了访问日志外，还要处理运行时日志，该日志大都用程序写的，比如 log4j。运行时日志跟访问日志最大的不同是，运行时日志是多行，也就是说，连续的多行才能表达一个意思。  
multiline 插件有三个设置比较重要：negate、pattern 和 what  
![在这里插入图片描述][20191124073203702.png]  
Vim multiline.conf

input {
            file{
                    path=>"/usr/local/elk/logstash-5.5.2/logs/multiline/mu_log.out"
                    type=>"runtimelog"
                    codec=> multiline {
                            pattern => "^\["
                            negate => true
                            what => "next"
                    }
                    start_position=>"beginning"
                    sincedb_path=>"/usr/local/elk/logstash-5.5.2/logs/multiline/sincedb-access"
                    ignore_older=>0 #默认不处理多长时间之前的数据
            }
    }
    filter{
             multiline{
                            pattern=> "^\["
                            negate=> false
                            what=> "next"
                    }
    }
    
    output{
            stdout{
                    codec => rubydebug
            }
    }

启动logstash：bin/logstash -f /usr/local/elk/logstash-5.5.2/conf/template/multiline.conf

向/usr/local/elk/logstash-5.5.2/logs/multiline/mu\_log.out文件中输入日志：

echo "
    [2018-04-18T16:40:24,941][INFO ][o.e.p.PluginsService     ] [es_2] loaded module [aggs-matrix-stats]
    [2018-04-18T16:40:24,941][INFO ][o.e.p.Plugins
        Service     ] [es_2] loaded module [ingest-common]
    [2018-04-18T16:40:24,942][INFO ][o.e.p.PluginsService   此处是测试，然后换行，看看是不是真的
        合并
        了日志  ] [es_2] loaded module [lang-expression]
    " >>/usr/local/elk/logstash-5.5.2/logs/multiline/mu_log.out

然后观察结果：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]  
注意：  
![在这里插入图片描述][2019112407340444.png]  
上面这两行没有打印出来，是因为：最后是\\n回车符，并不是“\]”这个符号，所以在下次日志中输出出来。

[20191124073203702.png]: https://img-blog.csdnimg.cn/20191124073203702.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191124073305707.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ==,size_16,color_FFFFFF,t_70
[2019112407340444.png]: https://img-blog.csdnimg.cn/2019112407340444.png