elk之logstash安装与配置

朱雀 2022-08-21 02:26 325阅读 0赞

**1.基本概念**

ELK：Elasticsearch + Logstash + Kibana

ELK官网：[https://www.elastic.co/][https_www.elastic.co]

ELK作用：数据采集分析展示一体化

Logstash的角色：数据采集

Elasticsearch的角色：数据存储分析

Kibana的角色：展示

**2.安装**

(a)logstash运行依赖jre，jre的安装可参考：[ubuntu安装jre][ubuntu_jre]

(b)下载地址：[https://www.elastic.co/][https_www.elastic.co]，点击右上角downloads

(c)我选择的版本是logstash-2.2.2.tar.gz

(d)解压：tar -xzvf logstash-2.2.2.tar.gz

(e)解压即可用，执行程序在bin目录下面

**3.启动参数**

(a)启动参数查看 ./logstash -h

(b) -f  ：指定配置路径

(d) -l ：指定日志路径，否则输出到标准输出

(e)启动举例：

nohup ./logstash -f ../conf/logstach.conf -l ../log/logstash.log &

**4.最简单的启动**，启动完成后在屏幕输入"hello logstash"，输出信息将会在标准输出格式化输出

./logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'

![20160311194634674][]

**5.配置**

官方文档：[https://www.elastic.co/guide/en/logstash/current/index.html][https_www.elastic.co_guide_en_logstash_current_index.html]

(a)logstash的配置主要由三块组成input、filter、output

(b)input ：数据输入

(c)filter ：数据预处理

(d)output ：输出控制

**6.插件**

官方文档：[https://www.elastic.co/guide/en/logstash/current/index.html][https_www.elastic.co_guide_en_logstash_current_index.html]

主要是参考官方文档的input、filter、output插件说明

![Center][]

**7.配置举例**

(a)需求：有多个路径的日志文件需要采集，需要对日志文件进行不同的解析，然后进行不同的处理，假设日志如下：

1457494295.865 200 GET /djgxZGNkYWJiZmE1MTNmZTE2MjBhNTY1MzlkMjAxYjY4MTIwMDIzMjkw HTTP/1.1 0.347 - 110.82.103.27 [ 09/Mar/2016:11:31:35 +0800 ] 0.347 godmusic.bs2dl.yy.com 758388 127 127.0.0.1:9999

(b)利用grok插件进行解析，grok插件有个模拟地址，[http://grokdebug.herokuapp.com/][http_grokdebug.herokuapp.com]

(c)数据输出到elasticsearch

(d)配置如下：logstash.conf

input { 
      file {
        type => "udaccesslog"
        path => "/data/ud_log/access.log"
      }
      file {
        type => "routeraccesslog"
        path => "/data/router_log/access.log"
      }
    }
    filter {
      if [type] == "udaccesslog" {
        grok {
          match => { "message" => "%{NUMBER:msec:float} %{NUMBER:status:int} %{WORD:method} %{URIPATHPARAM:request} (HTTP/%{NUMBER:http_version}) %{NUMBER:duration:float} (?:(?:%{URI:referrer}|-)|%{QS:referrer}) %{IP:clientip} (\[ %{HTTPDATE:timestamp} \]) %{NUMBER:upstream_duration:float} %{IPORHOST:domain} %{NUMBER:bytes_sent:int} %{NUMBER:request_length:int} %{IP:upstream_addr}\:%{NUMBER:upstream_port:int}" }
          remove_field => [ "@version", "http_version", "msec", "host" ]
          add_field => { 
            machine => "123.456.789"
            zoneid => "8080"
          }
        }
        mutate {
          convert => {   
            "zoneid" => "integer"
          }
        }
      }
      if [type] == "routeraccesslog" {
        
      }
    }
    output {
      if [type] == "udaccesslog" {
        elasticsearch { 
          hosts => ["123.456.787:9200", "123.456.788:9200", "123.456.789:9200"] 
          index => "udnginx-%{+YYYY.MM.dd}"
          workers => 2
        }
      }
      if [type] == "routeraccesslog" {
        stdout { codec => rubydebug }
      }
    }

(e)配置的一些细节理解

file：默认从文件末尾读取，会记录读取的offset

index：可以理解成数据库database，可以按日期动态生成，这样方便按照日期管理数据

type：可以理解成数据库的table

grok：解析数据插件

mutate：可以改变值的类型的插件

(f)logstash的host不允许修改，所以建议用machine字段代替

(g)需留意logstash的资源使用率

**小结：细节很多，主要看官网的配置文档**

下一篇：[elk之elasticsearch安装与部署][elk_elasticsearch]

End;

[https_www.elastic.co]: https://www.elastic.co/
[ubuntu_jre]: http://blog.csdn.net/daiyudong2020/article/details/50808421
[20160311194634674]: /images/20220731/e1fbda4fbab249378ae0d7952ebe8ed0.png
[https_www.elastic.co_guide_en_logstash_current_index.html]: https://www.elastic.co/guide/en/logstash/current/index.html
[Center]: /images/20220731/83d73cea732944a99257f30d6d970403.png
[http_grokdebug.herokuapp.com]: http://grokdebug.herokuapp.com/
[elk_elasticsearch]: http://blog.csdn.net/daiyudong2020/article/details/51090494