Filebeat向Elasticsearch输入log，合并行

朱雀 2022-12-28 00:36 114阅读 0赞

> 参考资料  
> https://blog.csdn.net/qq\_41154522/article/details/107283490

# 需求 #

Filebeat向Elasticsearch输入log的时候，INFO 日志肯定没有问题,因为Filebeat也是按照行读取的。  
比如这种的

> 2020-12-11 19:02:13.135 \[main\] INFO com.example.test.listen.Demo 3644b875-1428-4afb-8fb9-dcc08d147419----第1个 log

但是对于那种错误日志的话，比如

2020-12-11 19:02:13.135    [main]    ERROR    com.example.test.listen.Demo    has a exception
    java.lang.Exception: has a exception
            at com.example.test.listen.Demo.exception(Demo.java:27)
            at com.example.test.listen.Demo.main(Demo.java:19)
            at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
            at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
            at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
            at java.lang.reflect.Method.invoke(Method.java:498)
            at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:49)
            at org.springframework.boot.loader.Launcher.launch(Launcher.java:107)
            at org.springframework.boot.loader.Launcher.launch(Launcher.java:58)
            at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:88)

这样的话，我们在写入es的时候，没有办法匹配error日志，进而切分成多个字段，这样日志查看也就没有了意义。

# 解决 #

幸亏FileBeat自带整合的功能，在filebeat.yml 的文件中(这个是我自己的样例)

> multiline.pattern: ^2  
> multiline.negate: true  
> multiline.match: after

这些的相关意思为  
multiline.pattern: ^2 ------ 正则表达式  
multiline.negate: true ------ 默认是false，匹配pattern的行合并到上一行；true，不匹配pattern的行合并到上一行  
multiline.match: after ------ after 或 before，合并到上一行的末尾或开头

这样的话就可以将不匹配2开头的日志合并到上一行的最后面