ELK(ElasticSearch, Logstash, Kibana)实时日志分析平台部署

傷城~ 2022-06-06 06:06 259阅读 0赞

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：[https://www.elastic.co/products][https_www.elastic.co_products]

l  Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

l  Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。

l  kibana 也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch  提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志

## ELK平台搭建 ##

#### **系统环境** ####

System: Centos release 6.7 (Final)

ElasticSearch: 2.1.0

Logstash: 2.1.1

Kibana: 4.3.0

Java: openjdk version  "1.8.0\_65"

注：由于Logstash的运行依赖于Java环境， 而Logstash 1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK，请自行搜索安装。

ELK下载：[https://www.elastic.co/downloads/][https_www.elastic.co_downloads]

![123318_IHwC_1434710.png][]

#### **Kibana** ####

配置Kibana:

tar -zxvf kibana-4.3.0-linux-x86.tar.gz
    cd kibana-4.3.0-linux-x86
    vi config/kibana.yml

修改以下几项（由于是单机版的，因此host的值也可以使用localhost来代替，这里仅仅作为演示）：

server.port: 5601
    server.host: “centos2”
    elasticsearch.url: http://centos2:9200
    kibana.index: “.kibana”

启动kibana：

./bin/kibana

![125828_PLcj_1434710.png][]

用浏览器打开该地址：

![125853_ABJt_1434710.png][]

为了后续使用Kibana，需要配置至少一个Index名字或者Pattern，它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字applog，Kibana会自动加载该Index下doc的field，并自动选择合适的field用于图标中的时间字段：

![125922_L2FT_1434710.png][]

点击Create后，可以看到左侧增加了配置的Index名字：

![130003_bcKa_1434710.png][]

接下来切换到Discover标签上，注意右上角是查询的时间范围，如果没有查找到数据，那么你就可能需要调整这个时间范围了，这里我选择Today：

![130040_cA0j_1434710.png][]

接下来就能看到ES中的数据了：

![130130_3reO_1434710.png][]

执行搜索看看呢：

![130304_xbvj_1434710.png][]

点击右边的保存按钮，保存该查询为search\_all\_logs。接下来去Visualize页面，点击新建一个柱状图（Vertical Bar Chart），然后选择刚刚保存的查询search\_all\_logs，之后，Kibana将生成类似于下图的柱状图（只有10条日志，而且是在同一时间段的，比较丑，但足可以说明问题了：)  ）：

![130447_es2k_1434710.png][]

你可以在左边设置图形的各项参数，点击Apply Changes按钮，右边的图形将被更新。同理，其他类型的图形都可以实时更新。

点击右边的保存，保存此图，命名为search\_all\_logs\_visual。接下来切换到Dashboard页面：

![130543_elQl_1434710.png][]

单击新建按钮，选择刚刚保存的search\_all\_logs\_visual图形，面板上将展示该图：

![130607_vH1C_1434710.png][]

如果有较多数据，我们可以根据业务需求和关注点在Dashboard页面添加多个图表：柱形图，折线图，地图，饼图等等。当然，我们可以设置更新频率，让图表自动更新：

![130638_2jqP_1434710.png][]

如果设置的时间间隔够短，就很趋近于实时分析了。

到这里，ELK平台部署和基本的测试已完成。

参考：

[http://baidu.blog.51cto.com/71938/1676798][http_baidu.blog.51cto.com_71938_1676798]

[http://blog.csdn.net/cnweike/article/details/33736429][http_blog.csdn.net_cnweike_article_details_33736429]

[https_www.elastic.co_products]: https://www.elastic.co/products
[https_www.elastic.co_downloads]: https://www.elastic.co/downloads/
[123318_IHwC_1434710.png]: /images/20220606/a15e0ea3132c4b04a2e443147f42880a.png
[125828_PLcj_1434710.png]: /images/20220606/8048d53b0c064a188c1a225190d56d9b.png
[125853_ABJt_1434710.png]: /images/20220606/1a26073578dd43faad119a31b455599c.png
[125922_L2FT_1434710.png]: /images/20220606/f0a5498bb95e48338bf54c614a5c523e.png
[130003_bcKa_1434710.png]: /images/20220606/b5a4f30c01ff4b3aa1dec89735ac2efc.png
[130040_cA0j_1434710.png]: /images/20220606/1ac51cf1b99447338ffdc32ffc2487f4.png
[130130_3reO_1434710.png]: /images/20220606/0ec3a547789b4e6992bc5af1b9fbb3b4.png
[130304_xbvj_1434710.png]: /images/20220606/e3ca71bddbd74b5187bebb8ec9e50a02.png
[130447_es2k_1434710.png]: /images/20220606/1d3b8fd2949b4a1c9ca710f57a4de017.png
[130543_elQl_1434710.png]: /images/20220606/4a8cb66017ee4f1daac3164f80bc25f4.png
[130607_vH1C_1434710.png]: /images/20220606/94cb6b4cd32444d289b0c0fe68d43473.png
[130638_2jqP_1434710.png]: /images/20220606/88d30a84cd99420cbdba56b42774ae52.png
[http_baidu.blog.51cto.com_71938_1676798]: http://baidu.blog.51cto.com/71938/1676798
[http_blog.csdn.net_cnweike_article_details_33736429]: http://blog.csdn.net/cnweike/article/details/33736429