ElasticSearch实战系列八: Filebeat快速入门和使用---图文详解

太过爱你忘了你带给我的痛 2022-11-27 07:28 554阅读 0赞

## 前言 ##

本文主要介绍的是ELK日志系统中的Filebeat快速入门教程。

## ELK介绍 ##

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

*  Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
 *  Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
 *  Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
 *  Filebeat是一个轻量型日志采集器，可以方便的同kibana集成，启动filebeat后，可以直接在kibana中观看对日志文件进行detail的过程。

## Filebeat介绍 ##

Filebeat 是使用 Golang 实现的轻量型日志采集器，也是 Elasticsearch stack 里面的一员。本质上是一个 agent ，可以安装在各个节点上，根据配置读取对应位置的日志，并上报到相应的地方去。  
Filebeat 的可靠性很强，可以保证日志 At least once 的上报，同时也考虑了日志搜集中的各类问题，例如日志断点续读、文件名更改、日志 Truncated 等。  
Filebeat 并不依赖于 ElasticSearch，可以单独存在。我们可以单独使用Filebeat进行日志的上报和搜集。filebeat 内置了常用的 Output 组件, 例如 kafka、ElasticSearch、redis 等，出于调试考虑，也可以输出到 console 和 file 。我们可以利用现有的 Output 组件，将日志进行上报。  
当然，我们也可以自定义 Output 组件，让 Filebeat 将日志转发到我们想要的地方。  
filebeat 其实是 elastic/beats 的一员，除了 filebeat 外，还有 HeartBeat、PacketBeat。这些 beat 的实现都是基于 libbeat 框架。

Filebeat 由两个主要组件组成：harvester 和 prospector。

采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件，并将内容发送到 the output。 每个文件启动一个 harvester，harvester 负责打开和关闭文件，这意味着在运行时文件描述符保持打开状态。如果文件在读取时被删除或重命名，Filebeat 将继续读取文件。

查找器 prospector 的主要职责是管理 harvester 并找到所有要读取的文件来源。如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个 harvester。每个 prospector 都在自己的 Go 协程中运行。

注：Filebeat prospector只能读取本地文件， 没有功能可以连接到远程主机来读取存储的文件或日志。

示例图:

## Filebeat安装使用 ##

Filebeat下载地址推荐使用清华大学或华为的开源镜像站。

**下载地址:**

https://mirrors.huaweicloud.com/logstash  
https://mirrors.tuna.tsinghua.edu.cn/ELK

ELK7.3.2百度网盘地址:  
链接：https://pan.baidu.com/s/1tq3Czywjx3GGrreOAgkiGg  
提取码：cxng

### 三、Filebeat安装 ###

#### 1，文件准备 ####

将下载下来的filebeat-7.3.2-linux-x86\_64.gz的配置文件进行解压  
在linux上输入:

> tar -xvf filebeat-7.3.2-linux-x86\_64.tar.gz

然后移动到/opt/elk 里面，然后将文件夹重命名为 filebeat-7.3.2  
输入

> mv filebeat-7.3.2-linux-x86\_64 /opt/elk  
> mv filebeat-7.3.2-linux-x86\_64 filebeat-7.3.2

#### 2，配置修改 ####

这里简单介绍一下 filebeat.inputs，和outputs的主要配置。

##### inputs #####

inputs主要使用的几个配置项:

*  paths:必选项,读取文件的路径，基于glob匹配语法。
 *  enabled:是否启用该模块。
 *  exclude\_lines: 排除匹配列表中的正则表达式。
 *  include\_lines：包含匹配列表中的正则表达式。
 *  exclude\_files: 排除的文件,匹配正则表达式的列表。
 *  fields: 可选的附加字段。这些字段可以自由选择,添加附加信息到抓取的日志文件进行过滤。
 *  multiline.pattern: 多行合并匹配规则，匹配正则表达式。
 *  multiline.match:匹配可以设置为“after”或“before”。它用于定义是否应该将行追加到模式中在之前或之后匹配的，或者只要模式没有基于negate匹配。注意:在Logstash中，After等同于previous, before等同于next.
 *  multiline.negate: 定义模式下的模式是否应该被否定。默认为false。这个配置有点绕，其实就是负负得正，如果符合上面的就配置false，否则就配置true。

**一个简单的input输入示例:**

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /home/logs/*.txt

上述这段配置表示采集`/home/logs/`目录所有后缀名为.txt的日志。

在采集日志时，会涉及到对于应用中异常堆栈日志的处理。在[上一篇博文][Link 1]中，我们使用了logstash实现了日志归并，在本篇中我们也可以使用filbeat来实现合并。使用multiline.pattern、multiline.negate和multiline.match来实现，我们通过制定匹配规则将以空格开头的所有行合并到上一行,并把以Caused by开头的也追加到上一行。

示例:

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /home/logs/*.txt
      multiline.pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:'
      multiline.negate: false
      multiline.match: after

若是想采集多个目录，第一种方式，直接在采集的目录下再添加一行  
示例图:  
![在这里插入图片描述][20200819213306368.png_pic_center]

第二种方式，想采集多个目录并且输出到不同的索引库中，可以增加fields来表示，类似[logstash][Link 1]的type。  
示例图:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center]  
判断的时候，使用`if [fields][log-test] == "true"{ }` 这样既可。

##### output #####

output主要作用是将数据进行输出，比如输出到kafka、elasticsearch或者logstash中。  
这里将数据输出到ElasticSearch中，如果是集群，通过逗号可以配置多个节点。

示例:

output.elasticsearch:
      hosts: ["127.0.0.1:9200"]

按照上述配置会将读取的数据输出默认的模板索引库中，如果我们想指定索引库输出的话，只需要添加索引库名称即可。

示例:

output.elasticsearch:
      hosts: ["127.0.0.1:9200"]
      index: "mylog"

输出到Logstash配置:

output.logstash:
      hosts: ["localhost:5044"]

#### 3，使用 ####

##### demo #####

在/home/logs/目录下添加一个日志文件， 然后在filebeat文件夹中创建一个**filebeat\_test.yml**文件，然后在该文件中添加如下配置:

使用root用户在filebeat文件夹输入

> ./filebeat -c filebeat\_test.yml test config

进行配置启动测试

启动命令:

> ./filebeat -e -c filebeat\_logstash.yml

后台启动命令:

> nohup ./filebeat -c filebeat\_logstash.yml >/dev/null 2>&1 &

若是后台启动，可以在filebeat统计目录的logs目录查看日志信息。

启动filebeat采集日志写入到ES中，默认会使用filebeat的模板， 如果想使用自定义模板实现，可以查看我上一篇博文，地址:[ElasticSearch实战系列七: Logstash实战使用-图文讲解][Link 1]

示例图如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center 1]

#### 自定义json写入 ####

有时候，我们想采集json文件并直接将json文件的数据按照格式写入到ES对应的索引库中，我们也可以通过filebeat去实现。

1.在filebeat的目录下创建一个`filebeat_json.yml`的yml文件。

配置文件:

filebeat.inputs:
    - type: log
      enabled: true
      tags: ["i", "love", "json"]
      json.message_key: user_name
      json.keys_under_root: true
      json.add_error_key: true
      fields:
        qwe: xuwujing
      paths:
        - /home/logs/myjson.log
     
    output.elasticsearch:
      hosts: ["127.0.0.1:9200"]
      index: "myjson_index"
     
    setup.ilm.enabled: false
    setup.template.name: myjson_index
    setup.template.pattern: myjson_index

2.在kibana的开发工具页面中执行如下语句:

PUT myjson_index
    {
      "mappings": {
        "properties": {
          "id": {
            "type": "long"
          },
          "user_name": {
            "type": "keyword"
          },
          "blog": {
            "type": "keyword"
          }
        }
      }
    }

3.创建json文件

{"user_name": "xuwujing", "id": 1,  "blog": "www.panchengming.com"}
    {"user_name": "xuwujing", "id": 2,  "blog": "www.panchengming.com"}
    {"user_name": "xuwujing", "id": 3,  "blog": "www.panchengming.com"}

4.启动filebeat，并在kibana查询数据

./filebeat -e -c filebeat_json.yml

示例图:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center 2]

## 其它 ##

[ElasticSearch实战系列][ElasticSearch]:

*  [ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程][ElasticSearch_ ElasticSearch_Kinaba]
 *  [ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程—图文详解][ElasticSearch_ ElasticSearch_DSL]
 *  [ElasticSearch实战系列三: ElasticSearch的JAVA API使用教程][ElasticSearch_ ElasticSearch_JAVA API]
 *  [ElasticSearch实战系列四: ElasticSearch理论知识介绍][ElasticSearch_ ElasticSearch]
 *  [ElasticSearch实战系列四: ElasticSearch理论知识介绍][ElasticSearch_ ElasticSearch]
 *  [ElasticSearch实战系列五: ElasticSearch的聚合查询基础使用教程之度量(Metric)聚合][ElasticSearch_ ElasticSearch_Metric]
 *  [ElasticSearch实战系列六: Logstash快速入门][ElasticSearch_ Logstash]
 *  [ElasticSearch实战系列七: Logstash实战使用-图文讲解][Link 1]

### 音乐推荐 ###

原创不易，如果感觉不错，希望给个推荐！您的支持是我写作的最大动力！  
版权声明:  
作者：虚无境  
博客园出处：http://www.cnblogs.com/xuwujing  
CSDN出处：http://blog.csdn.net/qazwsxpcm  
掘金出处：https://juejin.im/user/5ae45d5bf265da0b8a6761e4　　　　  
个人博客出处：http://www.panchengming.com

[Link 1]: https://www.cnblogs.com/xuwujing/p/13520666.html
[20200819213306368.png_pic_center]: /images/20221124/2975811a62eb4f01a6322d8a929b5945.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/0d140c7bc4a84bc59dbc3331ae1dbea7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/5d3de2ea9baf44ab900e04952b1168aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FhendzeHBjbQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/6ce52d3201334a2487211ee773ccce53.png
[ElasticSearch]: https://www.cnblogs.com/xuwujing/tag/elasticsearch/
[ElasticSearch_ ElasticSearch_Kinaba]: https://www.cnblogs.com/xuwujing/p/11385255.html
[ElasticSearch_ ElasticSearch_DSL]: https://www.cnblogs.com/xuwujing/p/11567053.html
[ElasticSearch_ ElasticSearch_JAVA API]: https://www.cnblogs.com/xuwujing/p/11645630.html
[ElasticSearch_ ElasticSearch]: https://www.cnblogs.com/xuwujing/p/12093933.html
[ElasticSearch_ ElasticSearch_Metric]: https://www.cnblogs.com/xuwujing/p/12385903.html
[ElasticSearch_ Logstash]: https://www.cnblogs.com/xuwujing/p/13412108.html