ELK 快速指南

淡淡的烟草味﹌ 2022-05-12 10:38 386阅读 0赞

# ELK 快速指南 #

2018年06月02日 22:56:26 [WI\_232995][WI_232995] 阅读数：177 标签： [日志管理 ][Link 1] 更多

个人分类： [日志输出 ][Link 2]

https://dunwu.github.io/blog/2017/11/14/javatool/elk/

# ELK 快速指南 #

## 概念 ##

### ELK 是什么 ###

ELK 是 elastic 公司旗下三款产品 [ElasticSearch][] 、[Logstash][] 、[Kibana][] 的首字母组合。

[ElasticSearch][] 是一个基于 [Lucene][] 构建的开源，分布式，RESTful 搜索引擎。

[Logstash][] 传输和处理你的日志、事务或其他数据。

[Kibana][] 将 Elasticsearch 的数据分析并渲染为可视化的报表。

### 为什么使用 ELK ？ ###

对于有一定规模的公司来说，通常会很多个应用，并部署在大量的服务器上。运维和开发人员常常需要通过查看日志来定位问题。如果应用是集群化部署，试想如果登录一台台服务器去查看日志，是多么费时费力。

而通过 ELK 这套解决方案，可以同时实现日志收集、日志搜索和日志分析的功能。

### ELK 架构 ###

[![static/images/deploy3.png][static_images_deploy3.png]][static_images_deploy3.png]

> 说明
> 
> 以上是 ELK 技术栈的一个架构图。从图中可以清楚的看到数据流向。
> 
> [Beats][] 是单一用途的数据传输平台，它可以将多台机器的数据发送到 Logstash 或 ElasticSearch。但 Beats 并不是不可或缺的一环，所以本文中暂不介绍。
> 
> [Logstash][] 是一个动态数据收集管道。支持以 TCP/UDP/HTTP 多种方式收集数据（也可以接受 Beats 传输来的数据），并对数据做进一步丰富或提取字段处理。
> 
> [ElasticSearch][] 是一个基于 JSON 的分布式的搜索和分析引擎。作为 ELK 的核心，它集中存储数据。
> 
> [Kibana][] 是 ELK 的用户界面。它将收集的数据进行可视化展示（各种报表、图形化数据），并提供配置、管理 ELK 的界面。

## 安装 ##

### 准备 ###

ELK 要求本地环境中安装了 JDK 。如果不确定是否已安装，可使用下面的命令检查：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>java -version
</pre> </td> 
  </tr> 
 </tbody> 
</table>

> 注意
> 
> 本文使用的 ELK 是 6.0.0，要求 jdk 版本不低于 JDK8。
> 
> 友情提示：安装 ELK 时，三个应用请选择统一的版本，避免出现一些莫名其妙的问题。例如：由于版本不统一，导致三个应用间的通讯异常。

### Elasticsearch ###

安装步骤如下：

1.  [elasticsearch 官方下载地址][elasticsearch]下载所需版本包并解压到本地。
2.  运行 `bin/elasticsearch` （Windows 上运行 `bin\elasticsearch.bat`）
3.  验证运行成功：linux 上可以执行 `curl http://localhost:9200/` ；windows 上可以用访问 REST 接口的方式来访问 [http://localhost:9200/][http_localhost_9200]

> 说明
> 
> Linux 上可以执行下面的命令来下载压缩包：
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <pre>&gt; curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
> &gt;
> </pre> </td> 
>   </tr> 
>  </tbody> 
> </table>

> Mac 上可以执行以下命令来进行安装：
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <pre>&gt; brew install elasticsearch
> &gt;
> </pre> </td> 
>   </tr> 
>  </tbody> 
> </table>

> Windows 上可以选择 MSI 可执行安装程序，将应用安装到本地。

### Logstash ###

安装步骤如下：

1.  在 [logstash 官方下载地址][logstash]下载所需版本包并解压到本地。
2.  添加一个 `logstash.conf` 文件，指定要使用的插件以及每个插件的设置。举个简单的例子：
    
    <table> 
     <tbody> 
      <tr> 
       <td> <pre>input { stdin { } }
    output {
      elasticsearch { hosts =&gt; ["localhost:9200"] }
      stdout { codec =&gt; rubydebug }
    }
    </pre> </td> 
      </tr> 
     </tbody> 
    </table>
3.  运行 `bin/logstash -f logstash.conf` （Windows 上运行`bin/logstash.bat -f logstash.conf`）

### Kibana ###

安装步骤如下：

1.  在 [kibana 官方下载地址][kibana]下载所需版本包并解压到本地。
2.  修改 `config/kibana.yml` 配置文件，设置 `elasticsearch.url` 指向 Elasticsearch 实例。
3.  运行 `bin/kibana` （Windows 上运行 `bin\kibana.bat`）
4.  在浏览器上访问 [http://localhost:5601][http_localhost_5601]

### 安装 FAQ ###

elasticsearch 不允许以 root 权限来运行

问题：在 Linux 环境中，elasticsearch 不允许以 root 权限来运行。

如果以 root 身份运行 elasticsearch，会提示这样的错误：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>can not run elasticsearch as root
</pre> </td> 
  </tr> 
 </tbody> 
</table>

解决方法：使用非 root 权限账号运行 elasticsearch

<table> 
 <tbody> 
  <tr> 
   <td> <pre># 创建用户组
groupadd elk
# 创建新用户，-g elk 设置其用户组为 elk，-p elk 设置其密码为 elk
useradd elk -g elk -p elk
# 更改 /opt 文件夹及内部文件的所属用户及组为 elk:elk
chown -R elk:elk /opt # 假设你的 elasticsearch 安装在 opt 目录下
# 切换账号
su elk
</pre> </td> 
  </tr> 
 </tbody> 
</table>

vm.max\_map\_count 不低于 262144

问题：`vm.max_map_count` 表示虚拟内存大小，它是一个内核参数。elasticsearch 默认要求 `vm.max_map_count` 不低于 262144。

<table> 
 <tbody> 
  <tr> 
   <td> <pre>max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
</pre> </td> 
  </tr> 
 </tbody> 
</table>

解决方法：

你可以执行以下命令，设置 `vm.max_map_count` ，但是重启后又会恢复为原值。

<table> 
 <tbody> 
  <tr> 
   <td> <pre>sysctl -w vm.max_map_count=262144
</pre> </td> 
  </tr> 
 </tbody> 
</table>

持久性的做法是在 `/etc/sysctl.conf` 文件中修改 `vm.max_map_count` 参数：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>echo "vm.max_map_count=262144" &gt; /etc/sysctl.conf
sysctl -p
</pre> </td> 
  </tr> 
 </tbody> 
</table>

> 注意
> 
> 如果运行环境为 docker 容器，可能会限制执行 sysctl 来修改内核参数。
> 
> 这种情况下，你只能选择直接修改宿主机上的参数了。

nofile 不低于 65536

问题： `nofile` 表示进程允许打开的最大文件数。elasticsearch 进程要求可以打开的最大文件数不低于 65536。

<table> 
 <tbody> 
  <tr> 
   <td> <pre>max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
</pre> </td> 
  </tr> 
 </tbody> 
</table>

解决方法：

在 `/etc/security/limits.conf` 文件中修改 `nofile` 参数：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>echo "* soft nofile 65536" &gt; /etc/security/limits.conf
echo "* hard nofile 131072" &gt; /etc/security/limits.conf
</pre> </td> 
  </tr> 
 </tbody> 
</table>

nproc 不低于 2048

问题： `nproc` 表示最大线程数。elasticsearch 要求最大线程数不低于 2048。

<table> 
 <tbody> 
  <tr> 
   <td> <pre>max number of threads [1024] for user [user] is too low, increase to at least [2048]
</pre> </td> 
  </tr> 
 </tbody> 
</table>

解决方法：

在 `/etc/security/limits.conf` 文件中修改 `nproc` 参数：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>echo "* soft nproc 2048" &gt; /etc/security/limits.conf
echo "* hard nproc 4096" &gt; /etc/security/limits.conf
</pre> </td> 
  </tr> 
 </tbody> 
</table>

Kibana No Default Index Pattern Warning

问题：安装 ELK 后，访问 kibana 页面时，提示以下错误信息：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>Warning No default index pattern. You must select or create one to continue.
...
Unable to fetch mapping. Do you have indices matching the pattern?
</pre> </td> 
  </tr> 
 </tbody> 
</table>

这就说明 logstash 没有把日志写入到 elasticsearch。

解决方法：

检查 logstash 与 elasticsearch 之间的通讯是否有问题，一般问题就出在这。

## 使用 ##

本人使用的 Java 日志方案为 slf4j + logback，所以这里以 logback 来讲解。

### Java 应用输出日志到 ELK ###

修改 logstash.conf 配置

首先，我们需要修改一下 logstash 服务端 logstash.conf 中的配置

<table> 
 <tbody> 
  <tr> 
   <td> <pre>input { 
  # stdin { }
  tcp { 
    # host:port就是上面appender中的 destination，
	# 这里其实把logstash作为服务，开启9250端口接收logback发出的消息 
    host =&gt; "127.0.0.1" port =&gt; 9250 mode =&gt; "server" tags =&gt; ["tags"] codec =&gt; json_lines 
  }
}
output {
  elasticsearch { hosts =&gt; ["localhost:9200"] }
  stdout { codec =&gt; rubydebug }
}
</pre> </td> 
  </tr> 
 </tbody> 
</table>

> 说明
> 
> 这个 input 中的配置其实是 logstash 服务端监听 9250 端口，接收传递来的日志数据。

然后，在 Java 应用的 pom.xml 中引入 jar 包：

<table> 
 <tbody> 
  <tr> 
   <td> <pre>&lt;dependency&gt;
  &lt;groupId&gt;net.logstash.logback&lt;/groupId&gt;
  &lt;artifactId&gt;logstash-logback-encoder&lt;/artifactId&gt;
  &lt;version&gt;4.11&lt;/version&gt;
&lt;/dependency&gt;
</pre> </td> 
  </tr> 
 </tbody> 
</table>

接着，在 logback.xml 中添加 appender

<table> 
 <tbody> 
  <tr> 
   <td> <pre>&lt;appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender"&gt;
  &lt;!--
  destination 是 logstash 服务的 host:port，
  相当于和 logstash 建立了管道，将日志数据定向传输到 logstash
  --&gt;
  &lt;destination&gt;127.0.0.1:9250&lt;/destination&gt;
  &lt;encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/&gt;
&lt;/appender&gt;
&lt;logger name="io.github.dunwu.spring" level="TRACE" additivity="false"&gt;
  &lt;appender-ref ref="LOGSTASH" /&gt;
&lt;/logger&gt;
</pre> </td> 
  </tr> 
 </tbody> 
</table>

大功告成，此后，`io.github.dunwu.spring` 包中的 TRACE 及以上级别的日志信息都会被定向输出到 logstash 服务。

[![image.png][]][image.png]

## 资料 ##

*  [elastic 官方文档][elastic]
 *  [elasticsearch github][]
 *  [logstash github][]
 *  [kibana github][]

![3_zxl2016.jpg][]

[*ELK*学习5\_*ELK*文档资料:《*ELK* stack 权威*指南*/饶琛琳》推荐 ][ELK_5_ELK_ELK_ stack _]

[![wang\_zhenwei][wang_zhenwei]][ELK_5_ELK_ELK_ stack _]

[1.4万 ][ELK_5_ELK_ELK_ stack _]

[《ELK stack 权威指南/饶琛琳》的内容在网上共享有电子版，网站地址是： http://kibana.logstash.es/... ][ELK_5_ELK_ELK_ stack _]

[*ELK*（ElasticSearch，Logstash，Kibana）入门详解 ][ELK_ElasticSearch_Logstash_Kibana_]

[![linxiyimeng007][]][ELK_ElasticSearch_Logstash_Kibana_]

[70 ][ELK_ElasticSearch_Logstash_Kibana_]

[麋鹿ELK由ElasticSearch，Logstash和Kiabana三个开源工具组成。一，ELK概述1 ，ELK 简介ElasticSearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置... ][ELK_ElasticSearch_Logstash_Kibana_]

[*Elk*实时日志分析平台搭建 ][Elk_]

[![qq942477618][]][Elk_]

[4527 ][Elk_]

[一、   关于ELK实时日志分析平台 A.     Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源... ][Elk_]

[*elK*学习资料 ][elK_]

[![u012373815][]][elK_]

[1191 ][elK_]

[安装logstash,elasticsearch,kibana三件套 Elasticsearch中文指南elasticsearch中文指南.pdf htt文档 hElasticSearch实战－... ][elK_]

[下载 ][Link 3]

[*ELK*部署中文*指南* ][Link 3]

[09-26 ][Link 3]

[ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， ][Link 3]

[下载 ][Link 4]

[*ELK*stack 中文*指南* ][Link 4]

[02-23 ][Link 4]

[ELKstack 中文指南，三斗大神著。 ELK Stack 在最近两年迅速崛起， 成为机器数据分析， 或者说实时日志处理领域， 开源界的 第一选择 ][Link 4]

[下载 ][Link 5]

[*ELK*中文*指南* ][Link 5]

[05-04 ][Link 5]

[ELK,elasticsearch,logstash,kibana技术的中文资料。ELK,elasticsearch,logstash,kibana技术的中文资料。 ][Link 5]

[下载 ][Link 6]

[*ELK*\_中文*指南* ][Link 6]

[04-03 ][Link 6]

[ELK中文指南，完整中文版，挺好的重新上传，不知道为什么分数会自己涨上去 ][Link 6]

[下载 ][Link 7]

[*ELK*部署中文*指南*. ][Link 7]

[03-25 ][Link 7]

[《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》 《ELK部署中文指南.pdf》 ][Link 7]

[*elk*部署手册 ][elk_]

[![qq\_31205803][qq_31205803]][elk_]

[108 ][elk_]

[第一章 JDK环境变量配置安装JDK 1.8第一步：tar -xvf  jdk安装包  第二步：配置环境变量 vi /etc/profileJAVA\_HOME=/opt/jdk1.8.0\_65PATH... ][elk_]

相关热词

[elk怎么样][elk] [ elk插件开发][elk 1] [ elk备份][elk 2] [ elk源码安装][elk 3] [ elk项目][elk 4]

[下载 ][Link 8]

[kibana *elk*中文*指南* ][Link 8]

[01-25 ][Link 8]

[kibana 中文指南，ELK中文指南。ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分 析场合，三者通常是配合共用。 ][Link 8]

[<em>*elk*</em> ][em_elk_em_]

[下载 ][em_elk_em_]

[08-27 ][em_elk_em_]

[\*版权证明: 只允许上传png/jpeg/jpg/gif格式的图片,且小于3M \*详细原因: 取  消 提  交 <em>ELK</em>部署<em>中文指南</em>.pdf 30 积分 立即下载 ... ][em_elk_em_]

[<em>*elk*中文</em>版权威<em>*指南*</em> ][em_elk_em_em_em_]

[下载 ][em_elk_em_em_em_]

[08-27 ][em_elk_em_em_em_]

[<em>elk中文</em>版权威<em>指南</em>,详细讲解Logstash+Elasticsearch+Kibana 日志系统安装部署... <em>elk中文</em>版权威<em>指南</em>,详细讲解Logstash+Elasticsearch+Kibana 日志系统安装部署 ... ][em_elk_em_em_em_]

[<em>*elk*中文</em>版权威<em>*指南*</em> Kibana Logstash Elasticsearch ][em_elk_em_em_em_ Kibana Logstash Elasticsearch]

[下载 ][em_elk_em_em_em_ Kibana Logstash Elasticsearch]

[08-22 ][em_elk_em_em_em_ Kibana Logstash Elasticsearch]

[<em>ELK</em>是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个][em_elk_em_em_em_ Kibana Logstash Elasticsearch]

[WI_232995]: https://me.csdn.net/WI_232995
[Link 1]: http://so.csdn.net/so/search/s.do?q=%E6%97%A5%E5%BF%97%E7%AE%A1%E7%90%86&t=blog
[Link 2]: https://blog.csdn.net/WI_232995/article/category/7220464
[ElasticSearch]: https://www.elastic.co/products/elasticsearch
[Logstash]: https://www.elastic.co/products/logstash
[Kibana]: https://www.elastic.co/products/kibana
[Lucene]: http://lucene.apache.org/core/documentation.html
[static_images_deploy3.png]: /images/20220512/780cf884d71b4425a3b11c1db412517f.png
[Beats]: https://www.elastic.co/products/beats
[elasticsearch]: https://www.elastic.co/downloads/elasticsearch
[http_localhost_9200]: http://localhost:9200/
[logstash]: https://www.elastic.co/downloads/logstash
[kibana]: https://www.elastic.co/downloads/kibana
[http_localhost_5601]: http://localhost:5601/
[image.png]: /images/20220512/06e13801b39143a1a6a58d144cd3ebc4.png
[elastic]: https://www.elastic.co/guide/index.html
[elasticsearch github]: https://github.com/elastic/elasticsearch
[logstash github]: https://github.com/elastic/logstash
[kibana github]: https://github.com/elastic/kibana
[3_zxl2016.jpg]: /images/20220512/51c6267da3204f20a1f9990433d274e4.png
[ELK_5_ELK_ELK_ stack _]: /images/20220512/c32ccbdd1e8245c39c37466fc8658f78.png
[wang_zhenwei]: https://avatar.csdn.net/F/7/D/3_wang_zhenwei.jpg
[ELK_ElasticSearch_Logstash_Kibana_]: https://blog.csdn.net/linxiyimeng007/article/details/80968577
[linxiyimeng007]: /images/20220512/a88eb9b5ac8a46959c894f5158b805a3.png
[Elk_]: https://blog.csdn.net/qq942477618/article/details/52951011
[qq942477618]: /images/20220512/4421906eda004850975ed4e7e2dbd7d0.png
[elK_]: https://blog.csdn.net/u012373815/article/details/50403200
[u012373815]: /images/20220512/3ecd75a81fdb49c7bbbeec1042e8260a.png
[Link 3]: https://download.csdn.net/download/sanwe3333/9995895
[Link 4]: https://download.csdn.net/download/u010920692/9440545
[Link 5]: https://download.csdn.net/download/panghaiquan/10392657
[Link 6]: https://download.csdn.net/download/manicao1/10324788
[Link 7]: https://download.csdn.net/download/netbloomy/10307545
[elk_]: /images/20220512/c2fbe41a04a049fa8530e684bba20afe.png
[qq_31205803]: https://avatar.csdn.net/0/C/C/3_qq_31205803.jpg
[elk]: https://blog.csdn.net/u013939918/article/details/68923849
[elk 1]: https://blog.csdn.net/u013384984/article/details/80309024
[elk 2]: https://blog.csdn.net/Diamond5MrW/article/details/73321647
[elk 3]: https://blog.csdn.net/weixin_35494719/article/details/54694138
[elk 4]: https://blog.csdn.net/eclipsexys/article/details/53364480
[Link 8]: https://download.csdn.net/download/cngzth/10223427
[em_elk_em_]: https://download.csdn.net/download/wangzi19933/9853015?web=web
[em_elk_em_em_em_]: https://download.csdn.net/download/xingkong110/10131908
[em_elk_em_em_em_ Kibana Logstash Elasticsearch]: https://download.csdn.net/download/qq_34407634/10464123