ELK 快速指南

旧城等待， 2022-06-04 09:56 336阅读 0赞

https://dunwu.github.io/blog/2017/11/14/javatool/elk/

# ELK 快速指南 #

## 概念 ##

### ELK 是什么 ###

ELK 是 elastic 公司旗下三款产品 [ElasticSearch][] 、[Logstash][] 、[Kibana][] 的首字母组合。

[ElasticSearch][] 是一个基于 [Lucene][] 构建的开源，分布式，RESTful 搜索引擎。

[Logstash][] 传输和处理你的日志、事务或其他数据。

[Kibana][] 将 Elasticsearch 的数据分析并渲染为可视化的报表。

### 为什么使用 ELK ？ ###

对于有一定规模的公司来说，通常会很多个应用，并部署在大量的服务器上。运维和开发人员常常需要通过查看日志来定位问题。如果应用是集群化部署，试想如果登录一台台服务器去查看日志，是多么费时费力。

而通过 ELK 这套解决方案，可以同时实现日志收集、日志搜索和日志分析的功能。

### ELK 架构 ###

[![static/images/deploy3.png][static_images_deploy3.png]][static_images_deploy3.png]

> 说明
> 
> 以上是 ELK 技术栈的一个架构图。从图中可以清楚的看到数据流向。
> 
> [Beats][] 是单一用途的数据传输平台，它可以将多台机器的数据发送到 Logstash 或 ElasticSearch。但 Beats 并不是不可或缺的一环，所以本文中暂不介绍。
> 
> [Logstash][] 是一个动态数据收集管道。支持以 TCP/UDP/HTTP 多种方式收集数据（也可以接受 Beats 传输来的数据），并对数据做进一步丰富或提取字段处理。
> 
> [ElasticSearch][] 是一个基于 JSON 的分布式的搜索和分析引擎。作为 ELK 的核心，它集中存储数据。
> 
> [Kibana][] 是 ELK 的用户界面。它将收集的数据进行可视化展示（各种报表、图形化数据），并提供配置、管理 ELK 的界面。

## 安装 ##

### 准备 ###

ELK 要求本地环境中安装了 JDK 。如果不确定是否已安装，可使用下面的命令检查：

> 注意
> 
> 本文使用的 ELK 是 6.0.0，要求 jdk 版本不低于 JDK8。
> 
> 友情提示：安装 ELK 时，三个应用请选择统一的版本，避免出现一些莫名其妙的问题。例如：由于版本不统一，导致三个应用间的通讯异常。

### Elasticsearch ###

安装步骤如下：

1.  [elasticsearch 官方下载地址][elasticsearch]下载所需版本包并解压到本地。
2.  运行 `bin/elasticsearch` （Windows 上运行 `bin\elasticsearch.bat`）
3.  验证运行成功：linux 上可以执行 `curl http://localhost:9200/` ；windows 上可以用访问 REST 接口的方式来访问 [http://localhost:9200/][http_localhost_9200]

> 说明
> 
> Linux 上可以执行下面的命令来下载压缩包：
> 
> <table style="border-collapse:collapse; border-spacing:0px; margin:0px; width:auto; border:none; font-size:14px; table-layout:fixed"> 
> <tbody style=""> 
> <tr style="background-color:rgb(249,249,249)"> 
> <td style="padding:0px; vertical-align:middle; border:none"> <pre style="overflow:auto; font-family:&quot;PT Mono&quot;,consolas,Menlo,&quot;PingFang SC&quot;,&quot;Microsoft YaHei&quot;,monospace; font-size:13px; margin-top:0px; margin-bottom:0px; padding:10px; color:rgb(77,77,76); background:rgb(247,247,247); line-height:1.6; border:none; width:738px">&gt; curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz &gt; </pre> </td> 
> </tr> 
> </tbody> 
> </table>

> Mac 上可以执行以下命令来进行安装：
> 
> <table style="border-collapse:collapse; border-spacing:0px; margin:0px; width:auto; border:none; font-size:14px; table-layout:fixed"> 
> <tbody style=""> 
> <tr style="background-color:rgb(249,249,249)"> 
> <td style="padding:0px; vertical-align:middle; border:none"> <pre style="overflow:auto; font-family:&quot;PT Mono&quot;,consolas,Menlo,&quot;PingFang SC&quot;,&quot;Microsoft YaHei&quot;,monospace; font-size:13px; margin-top:0px; margin-bottom:0px; padding:10px; color:rgb(77,77,76); background:rgb(247,247,247); line-height:1.6; border:none; width:239px">&gt; brew install elasticsearch &gt; </pre> </td> 
> </tr> 
> </tbody> 
> </table>

> Windows 上可以选择 MSI 可执行安装程序，将应用安装到本地。

### Logstash ###

安装步骤如下：

1. 在 [logstash 官方下载地址][logstash]下载所需版本包并解压到本地。
2. 添加一个 `logstash.conf` 文件，指定要使用的插件以及每个插件的设置。举个简单的例子：
 
 <table style="border-collapse:collapse; border-spacing:0px; margin:0px; width:auto; border:none; font-size:14px; table-layout:fixed"> 
 <tbody style=""> 
 <tr style="background-color:rgb(249,249,249)"> 
 <td style="padding:0px; vertical-align:middle; border:none"> <pre style="overflow:auto; font-family:&quot;PT Mono&quot;,consolas,Menlo,&quot;PingFang SC&quot;,&quot;Microsoft YaHei&quot;,monospace; font-size:13px; margin-top:0px; margin-bottom:0px; padding:10px; color:rgb(77,77,76); background:rgb(247,247,247); line-height:1.6; border:none; width:387px">input { stdin { } } output {
 elasticsearch { hosts =&gt; ["localhost:9200"] } stdout { codec =&gt; rubydebug } } </pre> </td> 
 </tr> 
 </tbody> 
 </table>
3. 运行 `bin/logstash -f logstash.conf` （Windows 上运行`bin/logstash.bat -f logstash.conf`）

### Kibana ###

安装步骤如下：

1.  在 [kibana 官方下载地址][kibana]下载所需版本包并解压到本地。
2.  修改 `config/kibana.yml` 配置文件，设置 `elasticsearch.url` 指向 Elasticsearch 实例。
3.  运行 `bin/kibana` （Windows 上运行 `bin\kibana.bat`）
4.  在浏览器上访问 [http://localhost:5601][http_localhost_5601]

### 安装 FAQ ###

#### elasticsearch 不允许以 root 权限来运行 ####

问题：在 Linux 环境中，elasticsearch 不允许以 root 权限来运行。

如果以 root 身份运行 elasticsearch，会提示这样的错误：

解决方法：使用非 root 权限账号运行 elasticsearch

#### vm.max\_map\_count 不低于 262144 ####

问题：`vm.max_map_count` 表示虚拟内存大小，它是一个内核参数。elasticsearch 默认要求 `vm.max_map_count` 不低于 262144。

解决方法：

你可以执行以下命令，设置 `vm.max_map_count` ，但是重启后又会恢复为原值。

持久性的做法是在 `/etc/sysctl.conf` 文件中修改 `vm.max_map_count` 参数：

> 注意
> 
> 如果运行环境为 docker 容器，可能会限制执行 sysctl 来修改内核参数。
> 
> 这种情况下，你只能选择直接修改宿主机上的参数了。

#### nofile 不低于 65536 ####

问题： `nofile` 表示进程允许打开的最大文件数。elasticsearch 进程要求可以打开的最大文件数不低于 65536。

解决方法：

在 `/etc/security/limits.conf` 文件中修改 `nofile` 参数：

#### nproc 不低于 2048 ####

问题： `nproc` 表示最大线程数。elasticsearch 要求最大线程数不低于 2048。

解决方法：

在 `/etc/security/limits.conf` 文件中修改 `nproc` 参数：

#### Kibana No Default Index Pattern Warning ####

问题：安装 ELK 后，访问 kibana 页面时，提示以下错误信息：

这就说明 logstash 没有把日志写入到 elasticsearch。

解决方法：

检查 logstash 与 elasticsearch 之间的通讯是否有问题，一般问题就出在这。

## 使用 ##

本人使用的 Java 日志方案为 slf4j + logback，所以这里以 logback 来讲解。

### Java 应用输出日志到 ELK ###

修改 logstash.conf 配置

首先，我们需要修改一下 logstash 服务端 logstash.conf 中的配置

<table style="border-collapse:collapse; border-spacing:0px; margin:0px; width:auto; border:none; font-size:14px; table-layout:fixed"> 
 <tbody style=""> 
 <tr style="background-color:rgb(249,249,249)"> 
 <td style="padding:0px; vertical-align:middle; border:none"> <pre style="overflow:auto; font-family:&quot;PT Mono&quot;,consolas,Menlo,&quot;PingFang SC&quot;,&quot;Microsoft YaHei&quot;,monospace; font-size:13px; margin-top:0px; margin-bottom:0px; padding:10px; color:rgb(77,77,76); background:rgb(247,247,247); line-height:1.6; border:none; width:730px">input { # stdin { } tcp { # host:port就是上面appender中的 destination， 	# 这里其实把logstash作为服务，开启9250端口接收logback发出的消息 host =&gt; "127.0.0.1" port =&gt; 9250 mode =&gt; "server" tags =&gt; ["tags"] codec =&gt; json_lines } } output {
 elasticsearch { hosts =&gt; ["localhost:9200"] } stdout { codec =&gt; rubydebug } } </pre> </td> 
 </tr> 
 </tbody> 
</table>

> 说明
> 
> 这个 input 中的配置其实是 logstash 服务端监听 9250 端口，接收传递来的日志数据。

然后，在 Java 应用的 pom.xml 中引入 jar 包：

接着，在 logback.xml 中添加 appender

<table style="border-collapse:collapse; border-spacing:0px; margin:0px; width:auto; border:none; font-size:14px; table-layout:fixed"> 
 <tbody style=""> 
 <tr style="background-color:rgb(249,249,249)"> 
 <td style="padding:0px; vertical-align:middle; border:none"> <pre style="overflow:auto; font-family:&quot;PT Mono&quot;,consolas,Menlo,&quot;PingFang SC&quot;,&quot;Microsoft YaHei&quot;,monospace; font-size:13px; margin-top:0px; margin-bottom:0px; padding:10px; color:rgb(77,77,76); background:rgb(247,247,247); line-height:1.6; border:none; width:723px">&lt;appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"&gt; &lt;!-- destination 是 logstash 服务的 host:port， 相当于和 logstash 建立了管道，将日志数据定向传输到 logstash --&gt; &lt;destination&gt;127.0.0.1:9250&lt;/destination&gt; &lt;encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/&gt; &lt;/appender&gt; &lt;logger name="io.github.dunwu.spring" level="TRACE" additivity="false"&gt; &lt;appender-ref ref="LOGSTASH" /&gt; &lt;/logger&gt; </pre> </td> 
 </tr> 
 </tbody> 
</table>

大功告成，此后，`io.github.dunwu.spring` 包中的 TRACE 及以上级别的日志信息都会被定向输出到 logstash 服务。

[![image.png][]][image.png]

## 资料 ##

*  [elastic 官方文档][elastic]
 *  [elasticsearch github][]
 *  [logstash github][]
 *  [kibana github][]

[ElasticSearch]: https://www.elastic.co/products/elasticsearch
[Logstash]: https://www.elastic.co/products/logstash
[Kibana]: https://www.elastic.co/products/kibana
[Lucene]: http://lucene.apache.org/core/documentation.html
[static_images_deploy3.png]: /images/20220604/de4792a83a8b480bb5a4d91cd7d3dc75.png
[Beats]: https://www.elastic.co/products/beats
[elasticsearch]: https://www.elastic.co/downloads/elasticsearch
[http_localhost_9200]: http://localhost:9200/
[logstash]: https://www.elastic.co/downloads/logstash
[kibana]: https://www.elastic.co/downloads/kibana
[http_localhost_5601]: http://localhost:5601/
[image.png]: /images/20220604/e1f5004ffc7e41b9ae271a87701a2755.png
[elastic]: https://www.elastic.co/guide/index.html
[elasticsearch github]: https://github.com/elastic/elasticsearch
[logstash github]: https://github.com/elastic/logstash
[kibana github]: https://github.com/elastic/kibana