基于ELK打造强大的日志收集分析系统（springboot2+logback+logstash+elasticsearch+kibana）

你的名字 2021-11-05 04:20 697阅读 0赞

## 前言 ##

上一代的日志分析系统`springboot+log4j+flume+kafka`仿佛还是昨天，现在已经流行起了新一代的`springboot2+logback+logstash+elasticsearch`的日志分析系统，借助es强大的生态圈以及全文搜索能力，实现日志收集/分析/检索不再是难事。

日志收集分为两种情况：

*  （本文）`logback直接输出到logstash`，通过Tcp/Socket等传输（网络开销），当量太大时Logstash会做一个缓存队列处理，减少了filebeat去读取抓取日志的步骤。
 *  logback输出日志到日志文件，`filebeat实时抓取日志文件`（性能开销），再传输到logstash。

第二种情况的旧版flume方案就存在很大的`缺点`：在日志的产生端LogServer服务器重，部署FlumeAgent，然后实时监控产生的日志，再发送至Kafka。每一个FlumeAgent都占用了较大的系统资源，有时候LogServer性能开销大，CPU资源尤其紧张，所以实时收集分析日志，就必须交给一个更`轻量级`、`占用资源更少`的日志收集框架，例如`filebeat`。

## 什么是ELK? ##

![在这里插入图片描述][20190812140738488.png]  
从`功能`上看，ElasticSearch负责数据的存储和检索，Kibana提供图形界面便于管理，Logstash是个日志中转站负责给ElasticSearch输出信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]  
从`流程`上看，Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

## Logstash部分 ##

--------------------

## 下载&安装logstash ##

1.  logstash可以从以下地址下载，logstash和elasticsearch的版本要匹配，因为我们用的es是6.8.1，所以这里用了6.8.1的logstash，如果你是7.3.0则用7.3.0对应起来即可。

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.1.tar.gz

1.  这个包无论是windows或者linux都可用，解压即用
2.  （Linux下）cd到logstash目录下的bin目录,输入 `sh ./logstash -e 'input { stdin { } } output { stdout {} }'` ，输入任意命令测试是否成功，这是标准手动输入输出模式。

## 配置logstash ##

1.  进入bin目录，`copy`一份logstash-sample.conf文件并重命名为到`logstash.conf`（或者直接新建一个logstash.conf文件），修改为以下内容（`先注释掉elasticsearch部分,查看控制台是否输出,判断logback->logstash是否生效！！！`）：

# Logback -> Logstash -> Elasticsearch pipeline.
    # by zhengkai.blog.csdn.net
    input { 
      tcp { 
      
        host => "127.0.0.1"
        port => 9250
        mode => "server"
        tags => ["tags"]
        codec => json_lines
        }
    }
    
    output { 
      #控制台直接输出
      stdout{ 
        codec => rubydebug
      }
      #可以注释掉elasticsearch部分,查看控制台是否输出,判断logback->logstash是否生效,@zhengkai.blog.csdn.net
       elasticsearch { 
         hosts => ["127.0.0.1:9200"]
         action => "index"
         index => "mylog"
       }
    
    }

1.  修改`pipelines.yml`文件

- pipeline.id: test
       pipeline.workers: 1
       pipeline.batch.size: 1
       #config.string: "input { stdin { } } output { stdout {} }"
       path.config: "/SWDTOOLS/logstash-6.8.1/config/logstash.conf"

1.  `运行logstash`.bat（windows） ，[logstash.sh][]（linux）

补充一点，output配置中的ElasticSearch部分是通过`logstash-output-elasticsearch`插件的方式实现的，链接是官方插件手册，可供查询详细配置 [https://www.elastic.co/guide/en/logstash/6.8/plugins-outputs-elasticsearch.html][https_www.elastic.co_guide_en_logstash_6.8_plugins-outputs-elasticsearch.html]

## ElasticSearch部分 ##

--------------------

## ElasticSearch下载和运行 ##

## ElasticSearch ##

关于es部分，可以之前的文章[pringBoot2整合ElasticSearch(包含ElasticSearch入门+spring-boot-starter-data-elasticsearch)][pringBoot2_ElasticSearch_ElasticSearch_spring-boot-starter-data-elasticsearch]

1.  下载 `wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.1.zip`，当然如果太慢可以自己[换aria2下载][aria2]，（另外，如果从官网https://www.elastic.co/cn/downloads/elasticsearch下载Elasticsearch，下载到的版本太新，7.X可能存在兼容性问题，最好Logstash和ElasticSearch一样都是`6.8.1`版本）
2.  进入`/bin`目录，`chmod +x elasticsearch 进`行授权
3.  无需额外配置，可以以默认配置运行
4.  运行`./elasticsearch -d`即可(Ubuntu直接运行 **sh elasticsearch** 会报错，在Windows下运行 **elasticsearch.bat** 则没问题)

moshow@moshow-ThinkCentre-M900:~/Development/Environment/elasticsearch-6.8.1/bin$ sh elasticsearch
    elasticsearch: 17: elasticsearch: source: not found
    elasticsearch: 1: elasticsearch: : Permission denied
    elasticsearch: 21: elasticsearch: Bad substitution

1.  打开http://localhost:9200/验证是否成功

{ 
      "name" : "bOUWfou",
      "cluster_name" : "elasticsearch",
      "cluster_uuid" : "l0CZWkdcTdCo6pZFO_jU4A",
      "version" : { 
        "number" : "6.8.1",
        "build_flavor" : "default",
        "build_type" : "tar",
        "build_hash" : "1fad4e1",
        "build_date" : "2019-06-18T13:16:52.517138Z",
        "build_snapshot" : false,
        "lucene_version" : "7.7.0",
        "minimum_wire_compatibility_version" : "5.6.0",
        "minimum_index_compatibility_version" : "5.0.0"
      },
      "tagline" : "You Know, for Search"
    }

## SpringBoot&Logback部分 ##

--------------------

## Maven依赖 ##

*  [https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder][https_mvnrepository.com_artifact_net.logstash.logback_logstash-logback-encoder] 建议使用版本5.2以上的，版本过低会有兼容性问题（例如`ERROR in net.logstash.logback.appender.LogstashTcpSocketAppender[stash] - Unable start disruptor java.lang.NoSuchMethodError`）

<dependency>
    	<groupId>net.logstash.logback</groupId>
    	<artifactId>logstash-logback-encoder</artifactId>
    	<version>5.3</version>
    </dependency>

## Logback TCP Appenders配置 ##

*  可以到官方github文档 [https://github.com/logstash/logstash-logback-encoder][https_github.com_logstash_logstash-logback-encoder] 搜一下`TCP Appenders`部分
 *  参照文档，我们在项目的resources目录里面里新建`logback.xml`

![在这里插入图片描述][20190808160238913.png]

<?xml version="1.0" encoding="UTF-8"?>
    <configuration>
        <include resource="org/springframework/boot/logging/logback/base.xml" />
    
        <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
            <destination>127.0.0.1:9250</destination>
            <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
        </appender>
    
        <root level="INFO">
            <appender-ref ref="LOGSTASH" />
            <appender-ref ref="CONSOLE" />
        </root>
    
    </configuration>

## Controller ##

*  （Suggest）使用lombok的`@Slf4j`注解，可以直接`log.info()/log.error()`调用slf4j进行输出
 *  （不建议）或者使用原生`private final Logger log = LoggerFactory.getLogger(getClass());`

import cn.hutool.core.date.DateUtil;
    import lombok.extern.slf4j.Slf4j;
    import org.springframework.http.ResponseEntity;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    
    @RestController
    @Slf4j
    public class DemoController { 
    
        @GetMapping
        public Object index(){ 
            String msg="Oh My God ,System Error when "+ DateUtil.now();
            log.error(msg);
            return ResponseEntity.ok(msg);
        }
    }

*  查看Logstash控制台输出情况  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]

## LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError问题 ##

*  es无法连接情况，多数是es不可用或者有代理之类的情况：  
    ![在这里插入图片描述][20190808162518224.png]

## Kibana部分 ##

--------------------

## 下载&安装 ##

1.  wget或者aria2c下载6.8.1版的Kibana  
    `wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.1-linux-x86_64.tar.gz`
2.  解压文件 `tar -xzf kibana-6.8.1-linux-x86_64.tar.gz`
3.  进入kibana的bin目录，运直接`./bin/kibana`  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]
4.  访问 [http://localhost:5601/app/kibana][http_localhost_5601_app_kibana]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]
5.  建立一个新`IndexPatten`，Filter选择时间戳即可![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]
6.  查看已经建立的`index patten`，Time Filter by Timestamp，时间过滤器按照指定的时间段展示搜索结果。设置了 index contains time-based events 和 time-field 的索引模式可以使用时间过滤器。

## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]   Index Patten索引模式 ##

要使用Kibana，就需要通过配置一个或多个索引模式来告诉它您想探索的 Elasticsearch 索引（相当于创建es连接）。创建连接之后可以：

*  在`Discover`中以交互方式探索您的数据。
 *  在`Visualize`中以图表，表格，仪表，标签云等形式显示数据。
 *  在`Canvas`演示文稿中展示您的数据。
 *  如果您的数据包含地理数据，请使用地图`Maps`将其可视化。

另外，

*  如果您的索引中含有一个`时间戳`字段，并且您想将这个字段用于执行基于时间比较的操作，请选择 索引含有带时间戳的事件 选项，Kibana 会读取索引映射并列出包含时间戳的所有字段，从中选择您需要的字段即可（例如@TimeStamp）。
 *  默认情况下，Kibana 会`限制`基于`时间`的索引模式的`通配符扩展`，（因为这意义不大，且浪费时间，尽量用正常的比较操作）符，范围为当前选定时间内的索引数据。点击“当搜索时不要展开索引模式”选项来禁用此行为（即不走时间索引）。

## Discover数据探索模块 ##

`数据探索（Discover）`页面负责交互式地探索es数据：

*  可以访问与选定索引模式匹配的每个索引中的每个文档。
 *  可以提交搜索请求、过滤搜索结果、查看文档数据。
 *  还可以看到与搜索查询匹配的文档数，并获取字段值的统计信息。
 *  如果索引模式中配置了时间字段，您还可以在这个页面的顶部看到基于时间分布的文档数量柱状图。

## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]   Timelion时序控件 ##

时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。它是由一个简单的表达式语言驱动的，用来检索时间序列数据，执行计算得出复杂问题的答案，并可视化结果。  
Timelion 可以让您轻松获得如下问题的答案：

*  过去某段时间页面的 UV 量是多少？
 *  本周五和上周五的流量有多少差异？
 *  本站今天来自日本的访客占多少百分比？
 *  标普500指数过去10天的移动平均值是多少？
 *  过去两年所有的搜索请求总量有多少？

更多详情可以访问官方使用手册 [https://www.elastic.co/guide/cn/kibana/current/timelion-create.html][https_www.elastic.co_guide_cn_kibana_current_timelion-create.html]

.es(index=metricbeat-*, timefield='@timestamp', metric='avg:system.cpu.user.pct')

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8]

## 效果演示 ##

1.  打开 [http://localhost:9999/logstash/][http_localhost_9999_logstash] ，看到 `Oh My God ,System Error when 2019-08-10 18:35:00` 的返回信息。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9]
2.  查看Logstash控制台，发现stdout输出以及没有es报错提示。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10]
3.  用插件[elasticsearch-head][]查看ElasticSearch，默认连接地址`localhost:9200`，看到日志传输成功  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11]
4.  进入Kibana的Discover模块进行搜索 [http://localhost:5601/app/kibana\#/discover][http_localhost_5601_app_kibana_discover]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12]

## 后言 ##

关于探索Kibana更多功能可以查看官方的中文手册 [https://www.elastic.co/guide/cn/kibana/current/index.html][https_www.elastic.co_guide_cn_kibana_current_index.html]

[20190812140738488.png]: /images/20211104/d09ae9a802ba468d82204fa9d963dc75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211104/c62dc045bdf94cf6b9a536fce256a54a.png
[logstash.sh]: http://logstash.sh
[https_www.elastic.co_guide_en_logstash_6.8_plugins-outputs-elasticsearch.html]: https://www.elastic.co/guide/en/logstash/6.8/plugins-outputs-elasticsearch.html
[pringBoot2_ElasticSearch_ElasticSearch_spring-boot-starter-data-elasticsearch]: https://blog.csdn.net/moshowgame/article/details/96768494
[aria2]: https://zhengkai.blog.csdn.net/article/details/98945941
[https_mvnrepository.com_artifact_net.logstash.logback_logstash-logback-encoder]: https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder
[https_github.com_logstash_logstash-logback-encoder]: https://github.com/logstash/logstash-logback-encoder
[20190808160238913.png]: /images/20211104/ea5b369150264fdda2de7290269c836b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: /images/20211104/cb27fb0af2b94419a7b52113a80bc954.png
[20190808162518224.png]: /images/20211104/4158c7c0883946d2903da8d5ba50556c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: /images/20211104/0b4d711426464bfda955d85db2644f42.png
[http_localhost_5601_app_kibana]: http://localhost:5601/app/kibana
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: /images/20211104/e0f2b9f13c314daaacc8587e7116347b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190810190539477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: /images/20211104/93ae1c83a1ee441e913d47595de0fc22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]: /images/20211104/4797ce3bcc3049bf81adf301bf8b860f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]: /images/20211104/a64a0f0dd7f74423849bb5115e787db8.png
[https_www.elastic.co_guide_cn_kibana_current_timelion-create.html]: https://www.elastic.co/guide/cn/kibana/current/timelion-create.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8]: /images/20211104/f8388cac787f499f949aaac40bf854d7.png
[http_localhost_9999_logstash]: http://localhost:9999/logstash/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9]: /images/20211104/243f7eee94ca41a49b6fcf9cc7dac171.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10]: /images/20211104/dc62033cd12d45ca9b2f8f4ec675b8c7.png
[elasticsearch-head]: https://www.chromefor.com/elasticsearch-head_v0-1-4/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11]: /images/20211104/772308eccb4542d58d245dfd05c7892d.png
[http_localhost_5601_app_kibana_discover]: http://localhost:5601/app/kibana#/discover
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly96aGVuZ2thaS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12]: /images/20211104/27710efe2c354d48ad6d0a808f257414.png
[https_www.elastic.co_guide_cn_kibana_current_index.html]: https://www.elastic.co/guide/cn/kibana/current/index.html