Centos7 安装ELK/EFK 7.x 集群搭建实战攻略

待我称王封你为后i 2023-01-15 12:22 359阅读 0赞

### Centos7 安装ELK/EFK 7.x 集群搭建实战攻略 ###

*   *  1.1 写在前面的话
     *  1.2 开始之前
     *  1.3 安装ELK/EFK
     *   *  1.3.1 海量数据存储和检索——>E——>安装Elasticsearch
         *   *  1.3.1.1 下载和解压Elasticsearch
             *  1.3.1.2 修改配置
             *   *  1.3.1.2.1 修改操作系统限制
                 *  1.3.1.2.2 创建ES 用户
                 *  1.3.1.2.3 修改 elasticsearch.yml 配置文件
             *  1.3.1.3 启动Elasticsearch
             *  1.3.1.4 访问Elasticsearch
             *  1.3.1.5 Elasticsearch健康检查
             *  1.3.1.6 Elasticsearch 安装访问密码
         *  1.3.2 可视化界面和图表生成——> K——>安装Kibana
         *   *  1.3.2.1 下载并解压Kibana
             *  1.3.2.2 访问Kibana
         *  1.3.3 数据采集
         *   *  1.3.3.1 方法一：L——> 使用Logstash 采集日志
             *   *  1.3.3.1.1 下载和解压Logstash
                 *  1.3.3.1.2 修改配置文件
                 *  1.3.3.1.3 启动Logstash
             *  1.3.3.1 方法二：F——> 使用FileBeat 采集日志
             *   *  1.3.3.1.1 下载和安装FileBeat
                 *  1.3.3.1.2 配置Filebeat连接到Elasticsearch 和Kibana
                 *  1.3.3.1.3 配置Filebeat日志收集实现方式
                 *   *  1.3.3.1.3.1 方式一: 启用和配置数据收集模块
                     *  1.3.3.1.3.2 方式二: 手动配置Filebeat监控日志文件位置
                 *  1.3.3.1.4 测试Filebeat配置是否正确
                 *  1.3.3.1.5 启动filebeat
     *  1.4 查看Kibna 日志结果
     *  1.5 附录
     *   *  1.5.1 Elasticsearch 解释
         *   *  1.5.1.1 Elasticsearch目录结构详解
             *  1.5.1.2 Elasticsearch配置文件详解
             *  1.5.1.3 nginx 反向代理ES 配置

## 1.1 写在前面的话 ##

如果你正在寻找如何快速安装和配置ELK，那么恭喜你找对教程了。

这篇博文我们就来分享下如何在Centos7 服务器上搭建ELK 7.x 版本.

## 1.2 开始之前 ##

在开始搭建之前,我们首先需要先检查 ELK 对 自己服务器的操作系统以及 JDK 是否兼容。

*  [点击查看ELK对操作系统是否兼容][ELK]
 *  [点击查看ELK对JDK是否兼容信息列表][ELK_JDK]

>  *  **虽然官网说ES 7.12 支持JDK8,但是实际测试发现，ES 7.12 开始至少需要JDK11 以上版本。**
> 
> 否则会报错如下：
> 
>     Future versions of Elasticsearch will require Java 11; your Java version from [/usr/local/java/jdk/jdk1.8.0_161/jre] does not meet this requirement. Consider switching to a distribution of Elasticsearch with a bundled JDK. If you are already using a distribution with a bundled JDK, ensure the JAVA_HOME environment variable is not set.
> 
>  *  因此我们的服务器最好使用JDK11长期支持版本。

**ELK 是`Elasticsearch` ,`Logstash`, `Kibana` 的简称缩写,主要专注于可视化日志分析和查询**

Elastic Stack 主要包括三大部分，

>  *  海量数据存储和检索----- Elasticsearch 分布式存储和查询
>  *  可视化界面和图表生成----Kibana 可提供可视化界面和各种图表的生成。
>  *  数据采集-----可以用Logstash采集日志也可以使用FileBeat 采集日志。

所以ELK 不过是Elastic Stack 用法中日志分析栈的一部分罢了。

<table> 
 <thead> 
  <tr> 
   <th>Elastic Beats</th> 
   <th>To capture</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/auditbeat/7.12/auditbeat-installation-configuration.html" rel="nofollow">Auditbeat</a></td> 
   <td>Audit data (审计数据）</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/filebeat/7.12/filebeat-installation-configuration.html" rel="nofollow">Filebeat</a></td> 
   <td>Log File(日志文件)</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/functionbeat/7.12/functionbeat-installation-configuration.html" rel="nofollow">Functionbeat</a></td> 
   <td>Cloud data (云数据)</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/heartbeat/7.12/heartbeat-installation-configuration.html" rel="nofollow">Heartbeat</a></td> 
   <td>Availability monitoring（可用性数据）</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/journalbeat/7.12/journalbeat-installation-configuration.html" rel="nofollow">Journalbeat</a></td> 
   <td>Systemd journals (系统日志)</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/metricbeat/7.12/metricbeat-installation-configuration.html" rel="nofollow">Metricbeat</a></td> 
   <td>Metrics （指标数据）</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/packetbeat/7.12/packetbeat-installation-configuration.html" rel="nofollow">Packetbeat</a></td> 
   <td>Network traffic （网络流量数据）</td> 
  </tr> 
  <tr> 
   <td><a href="https://www.elastic.co/guide/en/beats/winlogbeat/7.12/winlogbeat-installation-configuration.html" rel="nofollow">Winlogbeat</a></td> 
   <td>Windows event logs （Windows事件日志）</td> 
  </tr> 
 </tbody> 
</table>

> 说明
> 
>  *  不知道你们有没有注意到，官网似乎已经有意在使用FileBeat 替换Logstash 采集日志了。
>  *  Logstash 是由 Elastic 公司推出的一款开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送指定的存储库中。[Logstash 官方介绍][Logstash]。
>  *  Filebeat 是 Elastic 公司为解决 Logstash “太重” 的问题推出的一款轻量级日志采集器，在处理数量众多的服务器、虚拟机和容器生成的日志时可使用 Logstash + Filebeat 的日志采集方式。[Filebeat 官方介绍][Filebeat]。

## 1.3 安装ELK/EFK ##

ELK/EFK 集群搭建安装说明：

<table> 
 <thead> 
  <tr> 
   <th>服务器IP</th> 
   <th>安装软件说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.159.11</td> 
   <td>Elasticsearch,Kibana,Logstash,FileBeat</td> 
  </tr> 
  <tr> 
   <td>192.168.159.12</td> 
   <td>Elasticsearch,Logstash,FileBeat</td> 
  </tr> 
  <tr> 
   <td>192.168.159.13</td> 
   <td>Elasticsearch,Logstash,FileBeat</td> 
  </tr> 
 </tbody> 
</table>

### 1.3.1 海量数据存储和检索——>E——>安装Elasticsearch ###

**[Elasticsearch][],江湖人称ES,它是一个实时的分布式存储，搜索和分析引擎。**

> 为什么用Elasticsearch?
> 
>  *  场景一: 当检索“`我是中国人`”,普通关系型数据库只能查找`%我是中国人%`的记录,无法搜索“`我是 中国人`”
>  *  场景二: 找到与查询最匹配的 10 个文档并不困难。但如果面对的是十亿行日志，又该如何解读呢？  
>     ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70]

**ES 因为拥有分布式存储,分词,高效海量数据查询的功能,因此是查询领域的王者！**

#### 1.3.1.1 下载和解压Elasticsearch ####

*  下载方式一：直接下载

ES 的官方下载地址: [https://www.elastic.co/cn/downloads/elasticsearch][https_www.elastic.co_cn_downloads_elasticsearch]

*  下载方式二: 使用命令行下载

使用curl 命令行下载ES

curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz

如果操作系统不支持curl命令也可以使用wget命令下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz

>  *  如果提示没有curl 命令则输入如下命令安装
> 
>     yum install curl
> 
>  *  这种压缩包解压安装方式不支持系统服务启动，要想系统服务启用需要使用包管理器安装。
>  *  但是由于包管理器安装有时候版本过于老旧,因此这里我们采用压缩包解压方式安装。

*  解压ES

tar -xzvf elasticsearch-7.12.0-linux-x86_64.tar.gz

*  进入ES 文件夹

cd elasticsearch-7.12.0

#### 1.3.1.2 修改配置 ####

接下来我们将会把ES 分别上传到`192.168.159.11,192.168.159.12,192.168.159.13` 三台服务器上搭建集群。

##### 1.3.1.2.1 修改操作系统限制 #####

在Centos7 Linux 操作系统中，默认单个进程可以打开的最多文件数是1024

但是ES 对操作系统有些特殊要求

*  要求操作系统单个进程可以打开的最大文件数最少要达到65535.
 *  而且ES 将会使用很多线程,也需要修改下操作系统限制。

如果不配置就会报错如下所示：

bootstrap checks failed. You must address the points described in the following [3] lines before starting Elasticsearch.
    bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
    bootstrap check failure [2] of [3]: max number of threads [3687] for user [elasticsearch] is too low, increase to at least [4096]
    bootstrap check failure [3] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方案：

如果想检查当前操作系统支持单个进程可以打开的最多文件数输入如下命令即可：

ulimit -n

> 返回值如果没修改会显示1024

要修复`bootstrap check failure [1] of [3]` 和`bootstrap check failure [2] of [3]`错误

需要修改`/etc/security/limits.conf`

vi /etc/security/limits.conf

编辑内容如下：

*               soft    nofile          65535
    *               hard    nofile          65535
    *               hard    nproc           4096
    *               soft    nproc           4096

>  *  设置限制数量，第一列表示用户，`*` 表示所有用户
>     
>      *  soft nproc ：单个用户可用的最大进程数量(超过会警告);
>      *  hard nproc：单个用户可用的最大进程数量(超过会报错);
>      *  soft nofile ：可打开的文件描述符的最大数(超过会警告);
>      *  hard nofile ：可打开的文件描述符的最大数(超过会报错);  
>         原文链接：[https://blog.csdn.net/zxljsbk/article/details/89153690][https_blog.csdn.net_zxljsbk_article_details_89153690]
>  *  断开session 链接，重新登陆生效

要修复bootstrap check failure \[3\] of \[3\] 错误，需要修改`/etc/sysctl.conf`

vi /etc/sysctl.conf

编辑内容如下:

vm.max_map_count=262144

>  *  `vm.max_map_count` 配置确保操作系统拥有足够多的虚拟内存
>  *  如果使用的是包管理器方式安装，那么不需要这个操作，默认会进行配置。

刷新配置立即生效

sysctl -p

##### 1.3.1.2.2 创建ES 用户 #####

除此之外，ES 7.x 开始不再允许以任何方式使用root 用户直接操作ES,因此需要创建一个非root 用户。

>  *  **ES 7.x 之前支持通过命令参数强行允许使用root用户执行ES, 但为了安全性,ES7.x 不再允许。**
>  *  如果想查看当前Linux 下的所有用户列表,可输入如下命令:
> 
>     compgen -u

因此我们还需要创建一个叫做非root用户，比如我们新创建一个叫做`es_user`的用户

# 创建用户
    adduser es_user

然后为`es_user` 用户创建登陆密码,至少需要八位

# 选择要修改密码的用户名称
    passwd es_user

> 执行后会提示两次输入密码,比如我们设置密码为es611521  
> New Password: es611521  
> Retype new password: es611521

再然后将es文件夹的操作权限授予es\_user用户

如果是单节点集群, 配置如下即可：

# 授予执行权限
    chmod u+x  /usr/local/es/elasticsearch-7.12.0/bin
    # ES 文件夹权限授权给es_user 用户
    chown -R es_user /usr/local/es/
    # 创建数据文件夹
    mkdir -p /var/data/es/es-node-1/
    # 将ES数据存储文件夹权限授权给es_user用户
    chown -R es_user /var/data/es/es-node-1/
    # 创建日志文件夹
    # 将ES 日志存储文件夹权限授权给es_user用户
    chown -R es_user /var/log/es/es-node-1/

> 如果需要设置远程访问密码,那么需要添加配置如下
> 
>     http.cors.enabled: true
>     http.cors.allow-origin: "*" 
>     http.cors.allow-headers: Authorization
>     xpack.security.enabled: true 
>     xpack.security.transport.ssl.enabled: true
> 
> 如果是多节点集群的话配置如下:
> 
>     # 分配权限给192.168.159.11
>     # 授予执行权限
>     chmod u+x  /usr/local/es/elasticsearch-7.12.0-node-1/bin
>     # ES 文件夹权限授权给es_user 用户
>     chown -R es_user /usr/local/es/
>     # 创建数据文件夹
>     mkdir -p /var/data/es/es-node-1/
>     # 将ES数据存储文件夹权限授权给es_user用户
>     chown -R es_user /var/data/es/es-node-1/
>     # 创建日志文件夹
>     # 将ES 日志存储文件夹权限授权给es_user用户
>     chown -R es_user /var/log/es/es-node-1/
>     
>     # 分配权限给192.168.159.12
>     # 授予执行权限
>     chmod u+x  /usr/local/es/elasticsearch-7.12.0-node-2/bin
>     # ES 文件夹权限授权给es_user 用户
>     chown -R es_user /usr/local/es/
>     # 创建数据文件夹
>     mkdir -p /var/data/es/es-node-2/
>     # 将ES数据存储文件夹权限授权给es_user用户
>     chown -R es_user /var/data/es/es-node-2/
>     # 创建日志文件夹
>     # 将ES 日志存储文件夹权限授权给es_user用户
>     chown -R es_user /var/log/es/es-node-2/
>     
>     # 分配权限给192.168.159.13
>     # 授予执行权限
>     chmod u+x  /usr/local/es/elasticsearch-7.12.0-node-3/bin
>     # ES 文件夹权限授权给es_user 用户
>     chown -R es_user /usr/local/es/
>     # 创建数据文件夹
>     mkdir -p /var/data/es/es-node-3/
>     # 将ES数据存储文件夹权限授权给es_user用户
>     chown -R es_user /var/data/es/es-node-3/
>     # 创建日志文件夹
>     # 将ES 日志存储文件夹权限授权给es_user用户
>     chown -R es_user /var/log/es/es-node-3/

##### 1.3.1.2.3 修改 elasticsearch.yml 配置文件 #####

*  进入config 文件

cd config

*  编辑elasticsearch.yml

vi elasticsearch.yml

*  ES单节点 elasticsearch.yml配置示例如下：

# 集群名称
    cluster.name: my-application
    # 集群节点名称
    node.name: node-1
    # ES默认 只允许本地 127.0.0.1 和[::1] 访问
    # 也可以设置成0.0.0.0 允许所有IP主机访问
    # 如果不配置就默认认为是开发者模式，如果配置不正确会写入警告但是能正确运行
    # 如果配置了就会认为进入了生产环境, 如果配置不正确就会升级为异常,ES无法正确启动。
    network.host: 0.0.0.0
    # 默认ES节点端口9200，如果是伪集群（在一台服务器上搭建集群），需要修改。
    http.port: 9200
    # 设置数据存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
    path.data: /var/data/es/es-node-1/
    # 设置日志存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
    path.logs: /var/log/es/es-node-1/
    # 发现其他节点主机配置 这里配置的是ES所在服务器的公网IP地址
    discovery.seed_hosts: ["192.168.159.11"]
    # 哪些节点可以被选举为主节点配置
    cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

> 关于discovery.seed\_hosts节点配置可以支持如下几种配置方式
> 
>     discovery.seed_hosts:  ["192.168.159.11","192.168.1.12:9301","seeds.mydomain.com","[0:0:0:0:0:ffff:c0a8:10c]:9301"]
> 
>  *  第一种配置方式： `192.168.159.11` ,隐式指定端口,默认是9300
>  *  第二种配置方式： `192.168.1.12:9301` ,显式指定占用端口
>  *  第三种配置方式: `seeds.mydomain.com` ,域名解析方式
>  *  第四种配置方式: `[0:0:0:0:0:ffff:c0a8:10c]:9301"]`, IPV6配置方式

--------------------

> 如果配置多节点集群,配置如下所示：
> 
>  *  ES多节点集群节点一 elasticsearch.yml配置示例如下：
> 
>     # 集群名称
>     cluster.name: my-application
>     # 集群节点名称
>     node.name: node-1
>     # ES默认 只允许本地 127.0.0.1 和[::1] 访问
>     # 也可以设置成0.0.0.0 允许所有IP主机访问
>     # 如果不配置就默认认为是开发者模式，如果配置不正确会写入警告但是能正确运行
>     # 如果配置了就会认为进入了生产环境, 如果配置不正确就会升级为异常,ES无法正确启动。
>     network.host: 0.0.0.0
>     # 默认ES节点端口9200，如果是伪集群（在一台服务器上搭建集群），需要修改。
>     http.port: 9200
>     # 设置数据存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.data: /var/data/es/es-node-1/
>     # 设置日志存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.logs: /var/log/es/es-node-1/
>     # 发现其他节点主机配置 这里配置的是ES所在服务器的公网IP地址
>     discovery.seed_hosts: ["192.168.159.11:9300","192.168.159.12:9300","192.168.159.13:9300"]
>     # 哪些节点可以被选举为主节点配置
>     cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
> 
>  *  ES多节点集群节点二 elasticsearch.yml配置示例如下：
> 
>     # 集群名称
>     cluster.name: my-application
>     # 集群节点名称
>     node.name: node-2
>     # ES默认 只允许本地 127.0.0.1 和[::1] 访问
>     # 也可以设置成0.0.0.0 允许所有IP主机访问
>     # 如果不配置就默认认为是开发者模式，如果配置不正确会写入警告但是能正确运行
>     # 如果配置了就会认为进入了生产环境, 如果配置不正确就会升级为异常,ES无法正确启动。
>     network.host: 0.0.0.0
>     # 默认ES节点端口9200，如果是伪集群（在一台服务器上搭建集群），需要修改。
>     http.port: 9200
>     # 设置数据存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.data: /var/data/es/es-node-2/
>     # 设置日志存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.logs: /var/log/es/es-node-2/
>     # 发现其他节点主机配置 这里配置的是ES所在服务器的公网IP地址
>     discovery.seed_hosts: ["192.168.159.11:9300","192.168.159.12:9300","192.168.159.13:9300"]
>     # 哪些节点可以被选举为主节点配置
>     cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
> 
>  *  ES多 节点集群节点三 elasticsearch.yml配置示例如下：
> 
>     # 集群名称
>     cluster.name: my-application
>     # 集群节点名称
>     node.name: node-3
>     # ES默认 只允许本地 127.0.0.1 和[::1] 访问
>     # 也可以设置成0.0.0.0 允许所有IP主机访问
>     # 如果不配置就默认认为是开发者模式，如果配置不正确会写入警告但是能正确运行
>     # 如果配置了就会认为进入了生产环境, 如果配置不正确就会升级为异常,ES无法正确启动。
>     network.host: 0.0.0.0
>     # 默认ES节点端口9200，如果是伪集群（在一台服务器上搭建集群），需要修改。
>     http.port: 9200
>     # 设置数据存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.data: /var/data/es/es-node-3/
>     # 设置日志存放路径,建议修改这个路径到ES的安装文件夹外面,避免ES升级误删掉这个文件夹
>     path.logs: /var/log/es/es-node-3/
>     # 发现其他节点主机配置 这里配置的是ES所在服务器的公网IP地址
>     discovery.seed_hosts: ["192.168.159.11:9300","192.168.159.12:9300","192.168.159.13:9300"]
>     # 哪些节点可以被选举为主节点配置
>     cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
> 
>  *  yml文件配置key和value 之间要有一个空格
>  *  **如果是单节点集群配置这一个就行了，如果是多个要继续配置其他两个。**

*  退出当前配置文件夹

cd ..

#### 1.3.1.3 启动Elasticsearch ####

最后切换用户登陆

# 切换用户
    su es_user

*  启动ES

./bin/elasticsearch

>  *  第一次启动建议前台启动,观测没有错误后再使用后台守护线程启动
>  *  前台启动后,如果想退出,可以按键盘`Ctrl+C` 进行退出
>  *  如果需要后台运行的话，那么增加下启动参数即可：
> 
>     ./bin/elasticsearch -d -p pid
> 
> 注意：
> 
>  *  其中`-d` 表示后台守护进程启动, `-p` 表示将生成的进程Id存储到文件中。
>  *  ES 默认启动会加载 `$ES_HOME/config/` 文件夹下`elasticsearch.yml` 中的配置

#### 1.3.1.4 访问Elasticsearch ####

检查多集群节点一

*  [http://192.168.159.11:9200/][http_192.168.159.11_9200]

执行成功后会返回类似下面的内容

{ 
      "name": "node-1",
      "cluster_name": "my-application",
      "cluster_uuid": "M0PH3gmtRu2Ov0mlP6uZDA",
      "version": { 
        "number": "7.12.0",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "78722783c38caa25a70982b5b042074cde5d3b3a",
        "build_date": "2021-03-18T06:17:15.410153305Z",
        "build_snapshot": false,
        "lucene_version": "8.8.0",
        "minimum_wire_compatibility_version": "6.8.0",
        "minimum_index_compatibility_version": "6.0.0-beta1"
      },
      "tagline": "You Know, for Search"
    }

检查多集群节点二

*  [http://192.168.159.12:9200/][http_192.168.159.12_9200]

{ 
      "name": "node-2",
      "cluster_name": "my-application",
      "cluster_uuid": "M0PH3gmtRu2Ov0mlP6uZDA",
      "version": { 
        "number": "7.12.0",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "78722783c38caa25a70982b5b042074cde5d3b3a",
        "build_date": "2021-03-18T06:17:15.410153305Z",
        "build_snapshot": false,
        "lucene_version": "8.8.0",
        "minimum_wire_compatibility_version": "6.8.0",
        "minimum_index_compatibility_version": "6.0.0-beta1"
      },
      "tagline": "You Know, for Search"
    }

检查多集群节点三

*  [http://192.168.159.13:9200/][http_192.168.159.13_9200]

{ 
      "name": "node-3",
      "cluster_name": "my-application",
      "cluster_uuid": "M0PH3gmtRu2Ov0mlP6uZDA",
      "version": { 
        "number": "7.12.0",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "78722783c38caa25a70982b5b042074cde5d3b3a",
        "build_date": "2021-03-18T06:17:15.410153305Z",
        "build_snapshot": false,
        "lucene_version": "8.8.0",
        "minimum_wire_compatibility_version": "6.8.0",
        "minimum_index_compatibility_version": "6.0.0-beta1"
      },
      "tagline": "You Know, for Search"
    }

> 如果访问不了,那么三种解决方案：
> 
>  *  方案一：选择关闭防火墙
> 
>     systemctl stop firewalld.service
> 
> 方案二：开放指定端口  
> 可以使用如下命令开放 TCP 9200 端口
> 
>     firewall-cmd --permanent --add-port=9200/tcp --zone=public
> 
> 或者使用如下命令开放 TCP 9200 端口
> 
>     iptables -I INPUT -p tcp --dport 9200 -j ACCEPT
> 
> 方案三：  
> 使用nginx 反向代理配置,屏蔽开放端口。

#### 1.3.1.5 Elasticsearch健康检查 ####

*  访问节点一健康检查地址: [http://192.168.159.11:9200/\_cat/health][http_192.168.159.11_9200_cat_health]

返回结果如下：

1619259896 10:24:56 my-application green 3 3 12 6 0 0 0 0 - 100.0%

*  访问节点一健康检查地址: [http://192.168.159.12:9200/\_cat/health][http_192.168.159.12_9200_cat_health]

返回结果如下：

1619259975 10:26:15 my-application green 3 3 12 6 0 0 0 0 - 100.0%

*  访问节点一健康检查地址: [http://192.168.159.13:9200/\_cat/health][http_192.168.159.13_9200_cat_health]

返回结果如下：

1619260004 10:26:44 my-application green 3 3 12 6 0 0 0 0 - 100.0%

> 从数据完整性的角度划分，集群健康状态分为三种：
> 
>  *  Green，所有的主分片和副分片都正常运行。 ·
>  *  Yellow，所有的主分片都正常运行，但不是所有的副分片都正常运行。这意味着存在单点故障风险。
>  *  Red，有主分片没能正常运行。  
>     每个索引也有上述三种状态，假设丢失了一个副分片，该分片所属的索引和整个集群变为Yellow状态，其他索引仍为Green。

#### 1.3.1.6 Elasticsearch 安装访问密码 ####

刚才我们的健康检查和对ES的一些接口访问时公开的，这样是不安全的，对于生产环境我们一般需要为ES设置密码。

由于ES 和其他组件进行交互,因此我们需要依次设置密码。

> 值得注意的是,
> 
>  *  ES 必须先启动,然后才能使用`elasticsearch-setup-passwords` 为ES相关的组件所使用的各个用户安装密码。
>  *  因为不同的用户有不同的权限

接下来我们开始设置密码:

./bin/elasticsearch-setup-passwords interactive

> ES 的安装文件夹下的bin 目录下，可以找到一个叫做`elasticsearch-setup-passwords`的可执行文件.

命令执行后就会显示如下内容提示：

Initiating the setup of passwords for reserved users elastic,apm_system,kibana,kibana_system,logstash_system,beats_system,remote_monitoring_user.
    You will be prompted to enter passwords as the process progresses.
    Please confirm that you would like to continue [y/N]y
    
    
    Enter password for [elastic]: 
    Reenter password for [elastic]: 
    Enter password for [apm_system]: 
    Reenter password for [apm_system]: 
    Enter password for [kibana_system]: 
    Reenter password for [kibana_system]: 
    Enter password for [logstash_system]: 
    Reenter password for [logstash_system]: 
    Enter password for [beats_system]: 
    Reenter password for [beats_system]: 
    Enter password for [remote_monitoring_user]: 
    Reenter password for [remote_monitoring_user]: 
    Changed password for user [apm_system]
    Changed password for user [kibana_system]
    Changed password for user [kibana]
    Changed password for user [logstash_system]
    Changed password for user [beats_system]
    Changed password for user [remote_monitoring_user]
    Changed password for user [elastic]

我们依次要为elastic,apm\_system,kibana\_system,logstash\_system,beats\_system，remote\_monitoring\_user 用户设置远程访问密码。

然后当我们再次访问es.xxx.com 就会发现需要提示输入密码  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 1]  
这里输入 账号 和 刚才设置的密码就可以登陆了。

>  *  默认账号是: elastic
>  *  密码：刚才设置的密码

### 1.3.2 可视化界面和图表生成——> K——>安装Kibana ###

**[Kibana][] 是一个旨在与Elasticsearch一起使用的开源分析和可视化平台。**

> Kibana 是一个免费且开放的用户界面，能够让您对 Elasticsearch 数据进行可视化，并让我们在 Elastic Stack中进行导航。  
> 我们可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。

**建议Kibana 和Elasticsearch 安装在同一个服务器上。**

#### 1.3.2.1 下载并解压Kibana ####

> 官方下载地址: [https://www.elastic.co/cn/downloads/kibana][https_www.elastic.co_cn_downloads_kibana]

*  下载Kibana

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.12.0-linux-x86_64.tar.gz

*  解压Kibana

tar xzvf kibana-7.12.0-linux-x86_64.tar.gz

*  进入Kibana 文件夹

cd kibana-7.12.0-linux-x86_64/

进入Kibana 配置文件目录

cd config

编辑/usr/local/es/kibana-7.12.0-linux-x86\_64/config/kibana.yml 文件

vi kibana.yml

编辑内容如下：

# Kibana 默认监听端口5601,如果需要改变就修改这个配置
    server.port: 5601
    # Kibana 部署服务器IP,如果是单网卡配置0.0.0.0即可,如果是多网卡需要配置IP
    server.host: 192.168.159.11
    # 配置服务器的名称
    server.name: my-kibana
    # 配置ES的集群节点地址
    elasticsearch.hosts: ["http://192.168.159.11:9200","http://192.168.159.12:9200","http://192.168.159.13:9200"]
    # 创建一个kibana索引
    kibana.index: ".kibana"

*  启动Kibana

./bin/kibana

> 如果用root 用户执行，那么需要带上参数:
> 
>     ./bin/kibana --allow-root
> 
> 如果想后台运行kibana 那么需要带上参数:
> 
>     nohup ./bin/kibana --alow-root &

#### 1.3.2.2 访问Kibana ####

启动成功后,打开网址：[http://192.168.159.11:5601][http_192.168.159.11_5601]

### 1.3.3 数据采集 ###

#### 1.3.3.1 方法一：L——> 使用Logstash 采集日志 ####

[Logstash][] 是一个日志采集框架。

##### 1.3.3.1.1 下载和解压Logstash #####

Logstash 官方下载地址：[https://www.elastic.co/cn/downloads/logstash][https_www.elastic.co_cn_downloads_logstash]

##### 1.3.3.1.2 修改配置文件 #####

新建一个配置文件 `logstash-simple.conf`

vi logstash-simple.conf

编辑内容如下：

`logstash-simple.conf`配置文件示例：

input { 
      beats { 
        port => 5044
      }
      file { 
        path => "/usr/local/nginx/logs/access.log"
        start_position => "beginning"
      }
    }
    
    filter { 
      if [path] =~ "access" { 
        mutate {  replace => {  "type" => "apache_access" } }
        grok { 
          match => {  "message" => "%{ COMBINEDAPACHELOG}" }
        }
      }
      date { 
        match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
      }
    }
    
    output { 
      elasticsearch { 
        hosts => ["192.168.159.11:9200","192.168.159.12:9200","192.168.159.13:9200"]
      }
      stdout {  codec => rubydebug }
    }

>  *  以上配置收集 `/usr/local/nginx/logs/access.log`下的日志
>  *  **Logstash 默认监听5044端口**
>  *  [点击查看更多配置用法][Link 1]

##### 1.3.3.1.3 启动Logstash #####

./bin/logstash -f ./config/logstash-simple.conf

>  *  通过`-f` 参数可以指定加载哪个配置文件
>  *  如果想后台启动则执行如下命令即可：
> 
>     nohup ./bin/logstash -f ./config/logstash-simple.conf &

#### 1.3.3.1 方法二：F——> 使用FileBeat 采集日志 ####

**[Filebeat][] 是 Elastic 公司为解决 Logstash “太重” 的问题推出的一款轻量级日志采集器.**

**FileBeat 可以监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。**

> 趣闻小贴士： logstash 和filebeat 是什么关系？
> 
>  *  **因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用`golang`写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。**
>  *  不过作者只是一个人，加入[http://elastic.co][http_elastic.co]公司以后，因为es公司本身还收购了另一个开源项目`packetbeat`，而这个项目专门就是用golang的，有整个团队，所以es公司干脆把`logstash-forwarder`的开发工作也合并到同一个golang团队来搞，于是新的项目就叫`filebeat`了。  
>     作者：饶琛琳  
>     链接：[https://www.zhihu.com/question/54058964/answer/137882919][https_www.zhihu.com_question_54058964_answer_137882919]  
>     来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

**FileBeat 的工作方式：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 2]  
在处理数量众多的服务器、虚拟机和容器生成的日志时可使用 `Logstash` \+ `Filebeat` 的日志采集方式。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 3]  
接下来我们将分享如何使用FileBeat 监控并采集日志。

大致分为如下步骤：

*  在要监视的每个系统上安装Filebeat
 *  指定日志文件的位置
 *  将日志数据解析为字段并将其发送到Elasticsearch
 *  可视化Kibana中的日志数据

##### 1.3.3.1.1 下载和安装FileBeat #####

**在要监视的每个系统上安装Filebeat**

> 说明：
> 
>  *  安装的方法有很多种，由于yum安装的版本可能相对较老, 因此这里我们使用通过命令下载安装的方式。

*  下载FileBeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.0-linux-x86_64.tar.gz

> 如果不能使用外网访问也可以选择 [点击手动下载FileBeat][FileBeat]

*  解压FileBeat

tar xzvf filebeat-7.12.0-linux-x86_64.tar.gz

##### 1.3.3.1.2 配置Filebeat连接到Elasticsearch 和Kibana #####

*  进入文件夹

cd filebeat-7.12.0-linux-x86_64

解压完成后我们可以看到如下的目录结构

filebeat-7.12.0-linux-x86_64
    ├── data
    ├── fields.yml
    ├── filebeat
    ├── filebeat.reference.yml
    ├── filebeat.yml
    ├── kibana
    ├── LICENSE.txt
    ├── logs
    ├── module
    ├── modules.d
    ├── NOTICE.txt
    └── README.md

目录文件说明

<table> 
 <thead> 
  <tr> 
   <th>文件名称</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>data</td> 
   <td>持久化数据文件</td> 
  </tr> 
  <tr> 
   <td>fields.yml</td> 
   <td>配置文件字段类型定义约束文件</td> 
  </tr> 
  <tr> 
   <td>filebeat</td> 
   <td>filebeat执行命令二进制文件</td> 
  </tr> 
  <tr> 
   <td>filebeat.reference.yml</td> 
   <td>和filebeat.yml 文件内容一样, 只是FileBeat 默认配置参考文件,永远不要修改这个文件</td> 
  </tr> 
  <tr> 
   <td>filebeat.yml</td> 
   <td>配置文件</td> 
  </tr> 
  <tr> 
   <td>kibana</td> 
   <td>kibana 可视化UI</td> 
  </tr> 
  <tr> 
   <td>LICENSE.txt</td> 
   <td>开源协议证书,不需要修改</td> 
  </tr> 
  <tr> 
   <td>logs</td> 
   <td>Filebeat 产生的日志文件</td> 
  </tr> 
  <tr> 
   <td>module</td> 
   <td>模块文件夹</td> 
  </tr> 
  <tr> 
   <td>modules.d</td> 
   <td>模块配置文件, 功能开启的模块都是*.yml命名, 所有的禁用模块都是*yml.disabled命名</td> 
  </tr> 
  <tr> 
   <td>NOTICE.txt</td> 
   <td>版本发布公告文件</td> 
  </tr> 
  <tr> 
   <td>README.md</td> 
   <td>使用说明文件,不需要修改</td> 
  </tr> 
 </tbody> 
</table>

我们需要修改FileBeat 的配置文件`filebeat.yml` 以便于连接到Elasticsearch 和Kibana。

*  编辑filebeat.yml

vi filebeat.yml

编辑filebeat.yml 文件内容如下：

###################### Filebeat Configuration Example #########################
    # ============================== Filebeat inputs ===============================
    
    filebeat.inputs:
    
    # Each - is an input. Most options can be set at the input level, so
    # you can use different inputs for various configurations.
    # Below are the input specific configurations.
    - type: log
    
      # Change to true to enable this input configuration.
      enabled: false
    
      # Paths that should be crawled and fetched. Glob based paths.
      paths:
        - /var/log/*.log
        - /usr/local/nginx/logs/*.log
        #- c:\programdata\elasticsearch\logs\*
    # filestream is an experimental input. It is going to replace log input in the future.
    - type: filestream
    
      # Change to true to enable this input configuration.
      enabled: false
    
      # Paths that should be crawled and fetched. Glob based paths.
      paths:
        - /var/log/*.log
        #- c:\programdata\elasticsearch\logs\*
    # ============================== Filebeat modules ==============================
    
    filebeat.config.modules:
      # Glob pattern for configuration loading
      path: ${ path.config}/modules.d/*.yml
    
      # 配置文件自动加载
      # Set to true to enable config reloading
      reload.enabled: true
    
      # 每10秒检查一次
      # Period on which files under path should be checked for changes
      # reload.period: 10s
      reload.period: 10s
    
    # ======================= Elasticsearch template setting =======================
    
    setup.template.settings:
      index.number_of_shards: 1
      #index.codec: best_compression
      #_source.enabled: false
    # =================================== Kibana ===================================
    
    # Starting with Beats version 6.0.0, the dashboards are loaded via the Kibana API.
    # This requires a Kibana endpoint configuration.
    setup.kibana:
    
      # Kibana Host
      # Scheme and port can be left out and will be set to the default (http and 5601)
      # In case you specify and additional path, the scheme is required: http://localhost:5601/path
      # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
      #host: "localhost:5601"
      host: "192.168.159.11:5601"
    
      # Kibana Space ID
      # ID of the Kibana Space into which the dashboards should be loaded. By default,
      # the Default Space will be used.
      #space.id:
    # ================================== Outputs ===================================
    
    # Configure what output to use when sending the data collected by the beat.
    
    # ---------------------------- Elasticsearch Output ----------------------------
    output.elasticsearch:
      # Array of hosts to connect to.
      #hosts: ["localhost:9200"]
      hosts: ["192.168.159.11:9200","192.168.159.12:9200","192.168.159.13:9200"]
    
      # Protocol - either `http` (default) or `https`.
      #protocol: "https"
      protocol: "http"
    
      # Authentication credentials - either API key or username/password.
      #api_key: "id:api_key"
      #username: "elastic"
      #password: "changeme"
    
    # ------------------------------ Logstash Output -------------------------------
    #output.logstash:
      # The Logstash hosts
      #hosts: ["192.168.159.11:5044"]
      #hosts: ["192.168.159.11:5044"]
      
      # Optional SSL. By default is off.
      # List of root certificates for HTTPS server verifications
      #ssl.certificate_authorities: ["/etc/pki/root/ca.pem"]
    
      # Certificate for SSL client authentication
      #ssl.certificate: "/etc/pki/client/cert.pem"
    
      # Client Certificate Key
      #ssl.key: "/etc/pki/client/cert.key"
    
    # ================================= Processors =================================
    processors:
      - add_host_metadata:
          when.not.contains.tags: forwarded
      - add_cloud_metadata: ~
      - add_docker_metadata: ~
      - add_kubernetes_metadata: ~

>  *  FileBeat 配置主要分为两部分:
>     
>      *  inputs: 从哪里的数据采集数据
>      *  output: 数据转发到哪里  
>         ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 4]
>  *  **默认FileBeat会将日志数据放入到名称为：`filebeat-%filebeat版本号%-yyyy.MM.dd` 的索引中**。
>  *  更多FileBeat 配置选项见：[https://www.elastic.co/guide/en/beats/filebeat/current/configuring-howto-filebeat.html][https_www.elastic.co_guide_en_beats_filebeat_current_configuring-howto-filebeat.html]

--------------------

##### 1.3.3.1.3 配置Filebeat日志收集实现方式 #####

Filebeat 收集日志有两种实现方式：

*  方式一：通过启用模块,修改模块中的配置文件方式实现

比如想监控nginx模块,开启nginx模块,然后在模块的模板配置nginx.yml 文件中配置日志路径就行了

**强烈建议使用这种方式，这种直接提供了日志配置模板，简单改下路径即可。**

*  方式二: 通过自定义监控文件路径事项

--------------------

###### 1.3.3.1.3.1 方式一: 启用和配置数据收集模块 ######

**Filebeat模块为常见的开源框架提供了日志收集配置模版。**

> filebeat 默认支持大多数开源框架的日志收集，比如
> 
>  *  ActiveMQ 日志
>  *  Apache 日志
>  *  ES 日志
>  *  IBM MQ 日志
>  *  IIS日志
>  *  Kafka 日志
>  *  MySQL 日志
>  *  RabbitMQ 日志
>  *  Redis 日志
>  *  Tomcat 日志
>  *  …

*  如果想查看filebeat 支持的模块配置列表，可以输入如下命令

./filebeat modules list

> [点击查看支持的全部模块列表配置介绍][Link 2]

*  在安装目录中，启用一个或多个模块。

例如,输入下面的命令启用 system，nginx和mysql模块配置

./filebeat modules enable system nginx mysql

> 这样可以收集sytem:(操作系统日志),nginx(nginx日志)，mysql(mysql 日志)

执行成功后显示如下所示  
![在这里插入图片描述][20210422140548954.png]

> 如果想禁用某个模块，则输入反向的命令即可
> 
>     ./filebeat modules disable system nginx mysql
> 
> 执行上面的命令后就会发现./modules.d 文件夹下的`nginx.yml.disabled` 文件重命名成了`ningx.yml`

*  进入`modules.d`，我们需要修改下模块的配置文件来收集我们指定位置的日志文件。

cd modules.d

比如我们希望采集nginx 的`/usr/local/nginx/logs/access.log` 日志和 `/usr/local/nginx/logs/error.log` 日志

那么输入打开 nginx.yml 文件命令如下：

vi nginx.yml

然后编辑nginx.yml 文件内容如下：

# Module: nginx
    # Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-nginx.html
    
    - module: nginx
      # Access logs
      access:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        #var.paths:
        var.paths: ["/usr/local/nginx/logs/access.log"]
    
      # Error logs
      error:
        enabled: true
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        #var.paths:
        var.paths: ["/usr/local/nginx/logs/error.log"]
    
      # Ingress-nginx controller logs. This is disabled by default. It could be used in Kubernetes environments to parse ingress-nginx logs
      ingress_controller:
        enabled: false
    
        # Set custom paths for the log files. If left empty,
        # Filebeat will choose the paths depending on your OS.
        #var.paths:
    ~

> 如果nginx.yml 配置文件出错就会报错如下: `range can't iterate over /usr/local/nginx/logs/access.log`
> 
>     2021-04-25T16:42:59.347+0800	ERROR	[reload]	cfgfile/list.go:99	Error
>     creating runner from config: could not create module registry for  filesets: error getting config for fileset nginx/access: 
>     Error interpreting the template of the input: template: text:3:22: executing  "text" at <.paths>: 
>     range can't iterate over  /usr/local/nginx/logs/access.log

###### 1.3.3.1.3.2 方式二: 手动配置Filebeat监控日志文件位置 ######

**如果找不到适合文件类型的模块，或者无法更改应用程序的日志输出，可以参考[手动配置指定日志收集来源][Link 3]。**

要手动配置Filebeat（而不是使用 模块），请在的filebeat.inputs部分中指定输入列表 `filebeat.yml`。

>  *  输入指定Filebeat如何查找和处理输入数据
>  *  该列表是一个YAML数组，因此每个输入都以破折号（-）开头。您可以指定多个输入，并且可以多次指定相同的输入类型。

**filebeat.yml文件添加配置示例如下：**

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /usr/local/nginx/logs/*.log

>  *  本示例中的输入`/var/log/*.log`将收获路径中的所有文件，这意味着Filebeat将收集/`var/log/` 目录中以.log结尾的所有文件
>  *  要从预定义级别的子目录中提取所有文件，请使用以下模式： `/var/log/*/*.log`。这`.log`将从的子文件夹中提取所有文件 `/var/log`。
>  *  它不会从`/var/log`文件夹本身获取日志文件。当前，不可能以递归方式获取目录所有子目录中的所有文件。

##### 1.3.3.1.4 测试Filebeat配置是否正确 #####

修改完成后我们可以测试下配置是否正确

./filebeat test config -e -c ./filebeat.yml

> 说明：
> 
>  *  如果配置文件不在默认路径下，也可以通过-c 命令指定加载配置文件的路径

执行结果如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 5]

>  *  执行成功后可以看到 `Config OK`

##### 1.3.3.1.5 启动filebeat #####

如果首次启动需要输入如下命令：

./filebeat setup -e -c ./filebeat.yml

以后启动需要输入如下命令：

./filebeat -e -c ./filebeat.yml

>  *  `-e` 是可选的，并将输出发送到标准错误，而不是配置的日志输出。
>  *  如果需要后台运行filebeat
> 
>     nohup ./filebeat -e -c ./filebeat.yml -d "Publish" & > nohup.out
> 
> 如果想停止filebeat,那么可以输入如下命令
> 
>     ps aux | grep filebeat
> 
> 执行成功后会看到如下所示：  
> ![在这里插入图片描述][20210425165129609.png]  
> 其中20976 就是进程PID,结束它就输入杀掉进程命令
> 
>     kill -9 20976
> 
>  *  如果以root用户身份运行Filebeat，就需要更改配置文件的所有权以及`modules.d`目录中启用的所有配置，
> 
>     sudo chown root filebeat.yml
>     sudo chown root modules.d/system.yml
> 
>  *  或者使用`--strict.perms=false`指定的名称运行Filebeat
>  *  [配置文件的所有权和权限][Link 4]

## 1.4 查看Kibna 日志结果 ##

完成上述配置后，我们就可以打开我们的Kibana 查看日志数据了。

访问我们的Kibana 服务器：[http://192.168.159.11:5601][http_192.168.159.11_5601]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 6]  
点击左侧导航的Discover,就可以看到日志结果了，如果没有数据就点击下右上角的过滤，将日志过滤时间范围修改为最近一年。

效果如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 7]

## 1.5 附录 ##

### 1.5.1 Elasticsearch 解释 ###

#### 1.5.1.1 Elasticsearch目录结构详解 ####

`/usr/local/es/elasticsearch-7.12.0/` 路径下文件夹列表如下所示：

├── bin  
├── config  
├── data  
├── jdk  
├── lib  
├── LICENSE.txt  
├── logs  
├── modules  
├── NOTICE.txt  
├── pid  
├── plugins  
└── README.asciidoc

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>描述</th> 
   <th>默认位置</th> 
   <th>默认值</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>home</strong></td> 
   <td>Elasticsearch 主文件夹路径或者<code>$ES_HOME</code></td> 
   <td>压缩包解压的文件夹路径</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><strong>bin</strong></td> 
   <td>二进制脚本,包含开启一个<code>node</code> 的<code>elasticsearch</code> 和安装插件的<code>elasticsearch-plugin</code> 可执行二进制脚本</td> 
   <td><code>$ES_HOME/bin</code></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><strong>conf</strong></td> 
   <td>配置文件包括elasticsearch.yml</td> 
   <td><code>$ES_HOME/config</code></td> 
   <td><a href="https://www.elastic.co/guide/en/elasticsearch/reference/7.12/settings.html#config-files-location" rel="nofollow">ES_PATH_CONF</a></td> 
  </tr> 
  <tr> 
   <td><strong>data</strong></td> 
   <td>节点上分配的每个索引/分片的数据文件的位置。 可以容纳多个位置。</td> 
   <td><code>$ES_HOME/data</code></td> 
   <td><code>path.data</code></td> 
  </tr> 
  <tr> 
   <td><strong>logs</strong></td> 
   <td>日志文件路径</td> 
   <td><code>$ES_HOME/logs</code></td> 
   <td><code>path.logs</code></td> 
  </tr> 
  <tr> 
   <td><strong>plugins</strong></td> 
   <td>插件文件配置，每个插件会包含在子文件夹下</td> 
   <td><code>$ES_HOME/plugins</code></td> 
   <td></td> 
  </tr> 
  <tr> 
   <td><strong>repo</strong></td> 
   <td>共享的文件系统存储库位置。 可以容纳多个位置。 可以将文件系统存储库放置在此处指定的任何目录的任何子目录中。</td> 
   <td>没有配置</td> 
   <td><code>path.repo</code></td> 
  </tr> 
  <tr> 
   <td><strong>jdk</strong></td> 
   <td>Elasticsearch是使用Java构建的,所以ES 版本中都自带捆绑了一个Open JDK,位于<code>$ES_HOME/jdk</code>文件夹下</td> 
   <td>要使用自己的Java版本，请设置<code>ES_JAVA_HOME</code>环境变量，如果必须使用与捆绑的JVM不同的Java版本，则建议使用受支持 的Java LTS版本。如果使用已知的Java错误版本，Elasticsearch将拒绝启动。使用自己的JVM时，捆绑的JVM目录可能会被删除</td> 
   <td>-</td> 
  </tr> 
 </tbody> 
</table>

#### 1.5.1.2 Elasticsearch配置文件详解 ####

`$ES_HOME/config` 文件夹下有这么几个配置文件

├── elasticsearch.keystore
    ├── elasticsearch.yml
    ├── jvm.options
    ├── jvm.options.d
    ├── log4j2.properties
    ├── role_mapping.yml
    ├── roles.yml
    ├── users
    └── users_roles

<table> 
 <thead> 
  <tr> 
   <th>配置文件名称</th> 
   <th>配置文件含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>elasticsearch.yml</td> 
   <td>配置ES</td> 
  </tr> 
  <tr> 
   <td>jvm.options</td> 
   <td>配置ES的JVM参数</td> 
  </tr> 
  <tr> 
   <td>log4j2.properties</td> 
   <td>配置ES的日志</td> 
  </tr> 
 </tbody> 
</table>

#### 1.5.1.3 nginx 反向代理ES 配置 ####

一般来说我们不直接对外不直接开放端口,而是使用Nginx做反向代理来提供服务。

>  *  首先需要在域名解析DNS 那里配置 es.xxx.com 指向我们的服务器
>  *  配置Nginx 反向代理

nginx 反向代理ES 配置参考如下：

server { 
      listen 80;
      server_name es.xxx.com;
      return 301 https://$host$request_uri;
    }
    
    server { 
      listen 443 ssl;
      server_name es.xxx.com;
    
      ssl_certificate   cert/server.pem;
      ssl_certificate_key  cert/server.key;
    
      location / { 
        proxy_set_header        Host $host:$server_port;
        proxy_set_header        X-Real-IP $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header        X-Forwarded-Proto $scheme;
        proxy_redirect http:// https://;
        proxy_pass              http://0.0.0.0:9200;
        # Required for new HTTP-based CLI
        proxy_http_version 1.1;
        proxy_request_buffering off;
        proxy_buffering off; # Required for HTTP-based CLI to work over SSL
        # workaround for https://issues.jenkins-ci.org/browse/JENKINS-45651
        add_header 'X-SSH-Endpoint' 'es.xxxx.com' always;
      }
    }

--------------------

本篇完～

[ELK]: https://www.elastic.co/cn/support/matrix
[ELK_JDK]: https://www.elastic.co/cn/support/matrix#matrix_jvm
[Logstash]: https://www.elastic.co/cn/logstash
[Filebeat]: https://www.elastic.co/cn/beats/filebeat
[Elasticsearch]: https://www.elastic.co/cn/elasticsearch/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70]: /images/20221022/370a23ee98594ef1a2b11c3a2ad295ea.png
[https_www.elastic.co_cn_downloads_elasticsearch]: https://www.elastic.co/cn/downloads/elasticsearch
[https_blog.csdn.net_zxljsbk_article_details_89153690]: https://blog.csdn.net/zxljsbk/article/details/89153690
[http_192.168.159.11_9200]: http://192.168.159.11:9200/
[http_192.168.159.12_9200]: http://192.168.159.12:9200/
[http_192.168.159.13_9200]: http://192.168.159.13:9200/
[http_192.168.159.11_9200_cat_health]: http://192.168.159.11:9200/_cat/health
[http_192.168.159.12_9200_cat_health]: http://192.168.159.12:9200/_cat/health
[http_192.168.159.13_9200_cat_health]: http://192.168.159.13:9200/_cat/health
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 1]: /images/20221022/a0feb89ef90b41218fd35f9432d22eee.png
[Kibana]: https://www.elastic.co/cn/kibana
[https_www.elastic.co_cn_downloads_kibana]: https://www.elastic.co/cn/downloads/kibana
[http_192.168.159.11_5601]: http://192.168.159.11:5601
[https_www.elastic.co_cn_downloads_logstash]: https://www.elastic.co/cn/downloads/logstash
[Link 1]: https://www.elastic.co/guide/en/logstash/current/config-examples.html
[http_elastic.co]: http://elastic.co
[https_www.zhihu.com_question_54058964_answer_137882919]: https://www.zhihu.com/question/54058964/answer/137882919
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 2]: /images/20221022/d6e23a736e5f4e9fa7ca007686fd7c83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 3]: /images/20221022/fe2985e2b9544e7298a3c259af302774.png
[FileBeat]: https://www.elastic.co/cn/downloads/beats/filebeat
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 4]: /images/20221022/1a01ae427ff14396a4644b08b486fb51.png
[https_www.elastic.co_guide_en_beats_filebeat_current_configuring-howto-filebeat.html]: https://www.elastic.co/guide/en/beats/filebeat/current/configuring-howto-filebeat.html
[Link 2]: https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html
[20210422140548954.png]: /images/20221022/32cea2dfa70b480b9c485703f95e01cc.png
[Link 3]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 5]: /images/20221022/f52cbfbc159747fb9dc4533ae8d964c6.png
[20210425165129609.png]: /images/20221022/96989b546c5749ef9ccee9668c5dc07b.png
[Link 4]: https://www.elastic.co/guide/en/beats/libbeat/7.12/config-file-permissions.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 6]: /images/20221022/3e1c13b8843e43f793df15eece6e206b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhZHVlcw_size_16_color_FFFFFF_t_70 7]: /images/20221022/07c99dada38947ebbba11c6c342d8461.png