logStash对于多行日志的合并(四)

「爱情、让人受尽委屈。」 2022-06-01 02:54 411阅读 0赞

日志总是免不了出异常 ，或者开发人员打出的日志 是json格式 多行的就需要对 日志多行进行合并 ，这个很常用 ，之后我会再开一个flume合并多行的情况  
诸如此类的日志：

[ERROR] [] 2017-10-23 09:34:37,855 操作超时,请重新登录
    com.*****.*******.exception.MobileException: 操作超时,请重新登录
        at com.*****.*****.base.session.MobileIntercepter.preHandle(MobileIntercepter.java:102)
        at org.springframework.web.servlet.HandlerExecutionChain.applyPreHandle(HandlerExecutionChain.java:130)
        at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:919)
        at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:856)
        at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:936)
        at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:839)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
        at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:812)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
        at weblogic.servlet.internal.StubSecurityHelper$ServletServiceAction.run(StubSecurityHelper.java:227)
        at weblogic.servlet.internal.StubSecurityHelper.invokeServlet(StubSecurityHelper.java:125)
        at weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:300)
        at weblogic.servlet.internal.TailFilter.doFilter(TailFilter.java:26)
        at weblogic.servlet.internal.FilterChainImpl.doFilter(FilterChainImpl.java:57)
        at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:89)
        at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107)
        at weblogic.servlet.internal.FilterChainImpl.doFilter(FilterChainImpl.java:57)
        at weblogic.servlet.internal.RequestEventsFilter.doFilter(RequestEventsFilter.java:27)
        at weblogic.servlet.internal.FilterChainImpl.doFilter(FilterChainImpl.java:57)
        at weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.wrapRun(WebAppServletContext.java:3715)
        at weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:3681)
        at weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:321)
        at weblogic.security.service.SecurityManager.runAs(SecurityManager.java:120)
        at weblogic.servlet.internal.WebAppServletContext.securedExecute(WebAppServletContext.java:2277)
        at weblogic.servlet.internal.WebAppServletContext.execute(WebAppServletContext.java:2183)
        at weblogic.servlet.internal.ServletRequestImpl.run(ServletRequestImpl.java:1454)
        at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
        at weblogic.work.ExecuteThread.run(ExecuteThread.java:178)

又或者是 这样的：

[INFO ] [] 2017-10-23 09:26:08,713 当前的参数为：{
      "data" : {
        "*******" : "#####################6ypPsznW########ccYmnCSw6HTog=jCD\/t1flm4bU2GL9Xf+hFQ=="
      },
      "header" : {
        "*******" : "#####",
        "********" : "####",
        "********" : "#####",
        "*********" : "#####################IP36ypPsznW6ure7DxYSS350xPw9ccYmnCSw6HTog=jCD\/t1flm4bU2GL9Xf+hFQ==",
        "******" : "1.0",
        "******" : "2"
      }
    }
    [INFO ] [##############] 2017-10-23 09:26:09,479 接收参数完毕

涉及到公司隐秘 部分日志在这里手动脱敏了

下面说 详细解决方案：

在logStash低版本中 使用 filter中的 multiline插件 在高版本中 filter中没有 multiline插件 此插件转移到了 input codec插件中

低版本：

filter { multiline { }

高版本：

input {
        file {
           type => "e_mall-bank"
           path => "/var/logs/*.log"
           start_position => "beginning"
           codec=>multiline{
                    pattern => "\s*\["
                    negate => true
                    what => "previous"
            }
    
        }
    }

重点内容在 codec插件中 的 multiline插件  
pattern 是 匹配日志的正则 negate是 是否匹配（正选，反选）  
what 是 匹配到的那些加入到 上一个事件还是下一个事件  
默认一行一个事件 我当然加入上一个事件啦

这样 抛出的异常 什么 一大堆 at 都在一行了。