elk查询nginx日志响应时间

曾经终败给现在 2023-02-27 10:36 29阅读 0赞

**一、目标**

通过kibana方便查询nginx中的响应时间

**二、搭建过程**

本文的架构是：Filebeat+kafka+Logstash+ES+kibana,具体搭建请参照其他文章。版本是elasticsearch 7.4。

新增配置如下：

1、nginx日志格式修改

为了能让es识别nginx响应时间数据,成为独立的字段，需要把nginx日志改为json输出。

log_format main '{"@timestamp":"$time_iso8601",'
                      '"trace":"$upstream_http_ctx_transaction_id",'
                      '"log":"log",'
                      '"remote_addr":"$remote_addr",'
                      '"request":"$request",'
                      '"http_user_agent":"$http_user_agent",'
                      '"bytes_sent":$bytes_sent,'
                      '"request_time":$request_time,'
                      '"upstream_response_time":"$upstream_response_time",'
                    '"upstream_addr":"$upstream_addr",'
                      '"scheme":"$scheme",'
                    '"server_addr":"$server_addr",'
                    '"http_host":"$http_host",'
                    '"host":"$host",'
                      '"uri":"$uri",'
                      '"http_x_forwarded_for":"$http_x_forwarded_for",'
                      '"http_referer":"$http_referer",'
                      '"status":"$status"}';

重启nginx, 是日志配置生效。

2、filebeat

修改filebeat.yml配置文件，在需要显示为json的输入类型中添加一下配置：

![20200727233745935.png][]

json.message_key: event
      json.keys_under_root: true
      json.add_error_key: true

重启filebeat:

service filebeat restart

3、kibana配置

因为有新的字段加入，所以要刷新nginx的索引模式

![20200727234123560.png][]

**三、效果**

查看

![20200727234320561.png][]

搜索条件，大于1秒的请求：

![2020072723450569.png][]

[20200727233745935.png]: /images/20230209/16dfa11116eb435c9fc302e1f06722b4.png
[20200727234123560.png]: https://img-blog.csdnimg.cn/20200727234123560.png
[20200727234320561.png]: https://img-blog.csdnimg.cn/20200727234320561.png
[2020072723450569.png]: https://img-blog.csdnimg.cn/2020072723450569.png