filebeat收集json格式的日志

傷城~ 2023-03-02 10:56 52阅读 0赞

正常情况下，我们收集到的日志的格式可能和我们要求的不太一样，所以需要将日志按照我们要求的格式进行展现，在kibana中也可以直接过滤搜索。

查找对应的版本，我的是7.3版本的，官网的配置如下：

![20200729104020489.png][]

![20200729104139282.png][]

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/nginx/access.log
      json.key_under_root: true
      json.overwrite_keys: true
      json.message_key: log
      tags: ["access"]
    
    
    - type: log
      enabled: true
      paths:
        - /var/log/nginx/error.log
      json.key_under_root: true
      json.overwrite_keys: true
      json.message_key: log
      tags: ["error"]
    
    
    filebeat.config.modules:
      path: ${path.config}/modules.d/*.yml
      reload.enabled: false
    
    
    setup.ilm.enabled: false
    setup.template:
      name: "test-nginx"
      pattern: "test-nginx-*"
    setup.template.overwrite: true
    setup.template.enabled: false
    
    
    
    setup.kibana:
      host: "172.123.154.13:5601"
    
    
    output.elasticsearch:
      hosts: ["172.123.154.13:9203"]
      indices: 
        - index: "test-nginx-access-%{+yyyy.MM.dd}"
          when.contains:
            tags: "access"
        - index: "test-nginx-error-%{+yyyy.MM.dd}"
          when.contains:
            tags: "error"

nginx中的配置如下

log_format json '{"@timestamp":"$time_iso8601",'
        '"host": "$server_addr",'
        '"clientip": "$remote_addr",'
        '"request_body": "$request_body",'
        '"responsetime": $request_time,'
        '"upstreamtime": "$upstream_response_time",'
        '"upstreamhost": "$upstream_addr",'
        '"http_host": "$host",'
        '"url": "$uri",'
        '"referer": "$http_referer",'
        '"agent": "$http_user_agent",'
        '"status": "$status"}';
    
        #日志使用json的模板
        access_log  /var/log/nginx/access.log  json;

发送几条请求，然后看到es中有索引生产。

![20200729141002651.png][]

在kibana中查看到message数据已经按照json的格式进行展示。

![20200729141452861.png][]

错误的日志message就是一行

![202007291413586.png][]

[20200729104020489.png]: /images/20230208/0efbcf2b25564d99aae39356bc5d242b.png
[20200729104139282.png]: /images/20230208/9c006ec4fbbe456d9a031fb0f6e7870a.png
[20200729141002651.png]: /images/20230208/d5f044baba1c4cdc9a824c93e9e82c36.png
[20200729141452861.png]: /images/20230208/2496719bb0ca43dbbcb08bcd080128fb.png
[202007291413586.png]: /images/20230208/f27ea087e8604b2096857b29bb7b53b4.png