分布式系统日志收集ELK

喜欢ヅ旅行 2022-03-29 03:48 324阅读 0赞

### 1. ELK介绍 ###

**ElK，即ElasticSearch+Logstash+Kibana**

**ElasticSearch**是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

**Logstash**是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

**Kibana**是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

### 2. 安装logstash ###

前面的博客已经讲解了如何安装elasticsearch和kibanba，所以这里只讲解如何安装logstash

① 上传以下压缩文件到/usr/local目录

![20190107210407739.png][]

② 解压logstash-6.4.3.tar.gz

[root@localhost local]# tar -zxvf logstash-6.4.3.tar.gz

③ 演示收集elasticsearch的日志信息

首先把以下文件上传到服务器**/usr/local/logstash-6.4.3/config**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70][]

**mayikt01.conf**

input {
        # 从文件读取日志信息 输送到控制台
        # path 读取的日志位置
        # type 类型，可自定义
        file {
            path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
            codec => "json" ## 以JSON格式读取日志
            type => "elasticsearch"
            start_position => "beginning"
        }
    	
    }
    
    # filter {
    #
    # }
    
    output {
        # 标准输出 
        # stdout {}
        # 输出进行格式化，采用Ruby库来解析日志   
         stdout { codec => rubydebug }
    }

④ 启动，进入logstash下的bin目录，执行以下命令

[root@localhost bin]# ./logstash -f ../config/mayikt01.conf

此时在/usr/local/elasticsearch-6.4.3/logs/myes.log日志文件输入内容：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 1][]

可以看到logstash会实时刷新，且是json格式数据，message即为同步的数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 2][]

### 3. logstash把日志文件推送到elasticsearch ###

将以下文件上传到服务器logstash下的config目录

input {
        # 从文件读取日志信息 输送到控制台
        file {
            path => "/usr/local/elasticsearch-6.4.3/logs/myes.log"
            codec => "json" ## 以JSON格式读取日志
            type => "elasticsearch"
            start_position => "beginning"
        }
    }
    
    # filter {
    #
    # }
    
    output {
        # 标准输出 
        # stdout {}
        # 输出进行格式化，采用Ruby库来解析日志   
        stdout { 
            codec => rubydebug 
        }
        elasticsearch {
            hosts => ["192.168.179.128:9200"]
            index => "es-%{+YYYY.MM.dd}"
        }	 
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 3][]

### 4. 启动kibana ###

**\[root@localhost bin\]\# ./kibana**

访问[http://192.168.179.128:5601][http_192.168.179.128_5601]，可以看到实时同步过来的日志信息：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 5][]

### 5. elastcisearch+logstash+kibana后台启动命令 ###

① elasticsearch的bin目录下：**\[es@localhost bin\]$ ./elasticsearch -d**

② kibana的bin目录下：**\[root@localhost bin\]\# nohup ./kibana &**

需要注意的是，我们需要在nohup命令执行后，按任意键回到shell提示符后，再退出终端

![20190113153504744.png][]

** **③** **logstash的bin目录下：** \[root@localhost bin\]\# nohup  ./logstash -f ../config/mayikt02.conf &**

[20190107210407739.png]: /images/20220329/ce277a816cb9434c96365dfb15c44c00.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70]: /images/20220329/0383b7c1dd7342059a39ac47d7d59a47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 1]: /images/20220329/90fb136678f2472a8957c8d4a1c1a7ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 2]: /images/20220329/e136ac1084d9451285f698b7d78c2f56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 3]: /images/20220329/90cc64dd329e4cad8267fb3b47e928dd.png
[http_192.168.179.128_5601]: http://192.168.179.128:5601
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 4]: /images/20220329/5e36c67f67a7479dac6318fb68f29afe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FraXJhTmlja3k_size_16_color_FFFFFF_t_70 5]: /images/20220329/7ae0ee49b60c4242a5e3dd5625db9441.png
[20190113153504744.png]: /images/20220329/16f1540b4a374adcaaf30ca6cab0f9e9.png