elasticsearch filebeat使用说明

曾经终败给现在 2023-06-29 02:13 4阅读 0赞

--------------------

### elasticsearch filebeat使用说明 ###

### \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* ###

**filebeat 工作原理**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ_size_16_color_FFFFFF_t_70][]

**filebeat主要由两个组件：prospetor和harverter，**

**prospector：**查找本地文件并为每个文件开启harvestor，**支持类型log（默认）、stdin、kafka、redis等**

**harvestor：**读取文件，将文件输出到指定位置

当输出目的地来不及接收数据时，harvestor会放慢读取速度，当输出目的地正常处理数据时，harvestor恢复至正常速度

**filebeat会记录文件状态（读取偏移量、文件标识符等）并定期刷新到磁盘的注册文件中，**在重新启动的时候会继续发送日志数据；

如果在harvest运行的时候，读取的文件被删除或者重命名，harvest仍会继续读取文件，**在harvest关闭的时候释放磁盘空间**；

如果监控的文件**一段时间（close\_inactive，默认为5min）没有更新**，则关闭harvest；

filebeat会**定期扫描文件（scan\_frequency，默认为10s）**，并为新的文件时创建harvest；

## ##

### \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* ###

**filebeat 配置说明**

输入设置
    
    #读取日志文件
    filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/*.log
    
    #控制台输入
    filebeat.inputs:
    - type: stdin
    
    
    *************************
    输出设置
    
    #输出到elasticsearch
    output.elasticsearch:
      hosts: ["host:9200"]
      username: "username"
      password: "password" 
    
    #输出到logstash
    output.logstash:
      hosts: ["host:5044"]
    
    #输出到控制台
    output.console:
      pretty: true
    
    
    *************************
    kibana仪表盘设置
    
    setup.kibana:
      host: "host:5601"
      username: "username"  
      password: "password"

**说明：输入设置中日志路径不会递归搜索，****如/var/log/\*/\*.log，**只会匹配**/var/log/a/a.log，**不会匹配**/var/log/b.log、/var/log/c/c/c.log**

### \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\* ###

**docker启动filebeat**

**下载镜像**

docker pull docker.elastic.co/beats/filebeat:7.5.1

**配置文件：读取日志文件输出到控制台**

filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /usr/share/filebeat/logs/*.log
    
    output.console:
      pretty: true

**创建容器**

docker run -it --net fixed --ip 172.18.0.12 \
    -v /usr/elasticsearch/filebeat/config/filebeat2.yml:/usr/share/filebeat/filebeat.yml \
    -v /usr/elasticsearch/filebeat/logs:/usr/share/filebeat/logs \
    --name filebeat docker.elastic.co/beats/filebeat:7.5.1

**控制台输出**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200109205242568.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200110164514168.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzMTYyNQ==,size_16,color_FFFFFF,t_70