elk介绍及其安装教程

刺骨的言语ヽ痛彻心扉 2022-05-24 10:59 238阅读 0赞

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：[https://www.elastic.co/products][https_www.elastic.co_products]

·        Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

·        Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

·        Kibana 也是一个开源和免费的工具，它Kibana可以为Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

安装过程

1.添加一个用户elk，并切换至该用户

useradd elk

passwd elk

2.解压下面三个文件

kibana-6.2.4-linux-x86\_64.tar.gz

logstash-6.2.4.tar.gz

elasticsearch-6.2.4.tar.gz

3.安装es

修改配置文件：

network.host: 192.168.94.151

http.port: 9200

启动： ./elasticsearch -d

![70][]

访问http://192.168.94.151:9200/   启动成功

![70 1][]

4.安装Logstash

![70 2][]

其实它就是一个收集器而已，我们需要为它指定Input和Output（当然Input和Output可以为多个）。由于我们需要把Java代码中Log4j的日志输出到ElasticSearch中，因此这里的Input就是Log4j，而Output就是ElasticSearch。

在config下新建一个配置文件：

从本地读取日志

\[elk@localhost config\]$ vi mylogstash-disk.conf

input \{

file \{

type => "log"

path => "/logs/\*.log"

start\_position => "beginning"

output \{

stdout \{

codec => rubydebug \{ \}

elasticsearch \{

hosts => "192.168.94.151"

index => "log-%\{+YYYY.MM.dd\}"

从服务读取日志

安装log4j插件：bin/logstash-plugin install logstash-input-log4j

vi mylogstash-server.conf

input \{

\#For detail config for log4j as input,

\#See: [https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html][https_www.elastic.co_guide_en_logstash_current_plugins-inputs-log4j.html]

log4j \{

mode => "server"

host => "192.168.94.151"

port => 4567

filter \{

\#Only matched data are send to output.

output \{

\#For detail config for elasticsearch as output,

\#See: [https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html][https_www.elastic.co_guide_en_logstash_current_plugins-outputs-elasticsearch.html]

elasticsearch \{

action => "index"         \#The operation on ES

hosts  => "192.168.94.151:9200"   \#ElasticSearch host, can be array.

index  =>"applog"         \#The index towrite data to.

启动：

./bin/logstash -f config/mylogstash-server.conf

后台启动用nohup  ./bin/logstash  -f config/mylogstash-server.conf  &

pom.xml，很简单，只用到了Log4j库：

log4j.properties，将Log4j的日志输出到**SocketAppender**，因为官网是这么说的：

![70 3][]

log4j.rootLogger=INFO,console

\# for package com.demo.elk, log would be sent to socket appender.  
log4j.logger.com.demo.elk=DEBUG, socket

\# appender socket  
log4j.appender.socket=org.apache.log4j.net.SocketAppender  
log4j.appender.socket.Port=4567  
log4j.appender.socket.RemoteHost=192.168.94.151  
log4j.appender.socket.layout=org.apache.log4j.PatternLayout  
log4j.appender.socket.layout.ConversionPattern=%d \[%-5p\] \[%l\] %m%n  
log4j.appender.socket.ReconnectionDelay=10000

\# appender console  
log4j.appender.console=org.apache.log4j.ConsoleAppender  
log4j.appender.console.target=System.out  
log4j.appender.console.layout=org.apache.log4j.PatternLayout  
log4j.appender.console.layout.ConversionPattern=%d \[%-5p\] \[%l\] %m%n

注意：**这里的端口号需要跟Logstash监听的端口号一致，这里是4567。**

Application.java，使用Log4j的LOGGER打印日志即可：

package com.demo.elk;

import org.apache.log4j.Logger;

public class Application \{  
    private static final Logger LOGGER = Logger.getLogger(Application.class);  
    public static void main(String\[\] args) throws Exception \{  
        for (int i = 0; i < 10; i++) \{  
            LOGGER.error("Info log \[" + i + "\].");  
            Thread.sleep(500);  
        \}  
    \}  
\}

5.安装kibana

修改配置文件

server.port: 5601

server.host: “192.168.94.151”

elasticsearch.url: [http://192.168.94.151:9200][http_192.168.94.151_9200]

启动

./bin/kibana

然后就可以通过192.168.94.151:5601访问了

为了后续使用Kibana，需要配置至少一个Index名字或者Pattern，它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字applog或者log\*，Kibana会自动加载该Index下doc的field，并自动选择合适的field用于图标中的时间字段。

[https_www.elastic.co_products]: https://www.elastic.co/products
[70]: /images/20220524/454f7eef629e43319245e3941ce7a733.png
[70 1]: /images/20220524/47350d46566e447f82a57609fc710ffc.png
[70 2]: /images/20220524/10375d23b2d0494e913529f92822a2fe.png
[https_www.elastic.co_guide_en_logstash_current_plugins-inputs-log4j.html]: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html
[https_www.elastic.co_guide_en_logstash_current_plugins-outputs-elasticsearch.html]: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
[70 3]: /images/20220524/a51937ed43864b75af4ca863257291a5.png
[http_192.168.94.151_9200]: http://192.168.94.151:9200