filebeat常见问题

爱被打了一巴掌 2022-01-12 10:35 372阅读 0赞

转：[https://www.jianshu.com/p/2557bb606e22][https_www.jianshu.com_p_2557bb606e22]

## 1.Too many open file handlers ##

Filebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取新的日志行。 如果Filebeat正在收集大量文件，则打开文件的数量可能会成为问题。 在大多数环境中，正在更新的文件数量很少。  
close\_inactive配置选项应相应地设置为关闭不再处于活动状态的文件。

您可以使用其他配置选项来关闭文件处理程序，但所有这些选项都应该小心使用，因为它们可能有副作用。 选项是：

*  [`close_renamed`][close_renamed]
 *  [`close_removed`][close_removed]
 *  [`close_eof`][close_eof]
 *  [`close_timeout`][close_timeout]
 *  [`harvester_limit`][harvester_limit]

close\_renamed和close\_removed选项在Windows上很有用，可以解决与文件旋转相关的问题。  
请参阅打开文件处理程序导致Windows文件旋转问题？

打开文件处理程序会导致Windows文件旋转问题？
    在Windows上，您可能在重命名或删除文件时遇到问题，因为Filebeat会使文件处理程序保持打开状态。
     这可能会导致文件旋转系统出现问题。 为避免此问题，您可以一起使用close_removed和close_renamed选项。
    
    重要
    当您配置这些选项时，收割机读取文件之前可能会关闭文件。 如果探矿者无法再次拾取文件，并且收割机尚未完成读取文件，则缺失的行将永远不会被发送到输出。

close\_eof选项在具有大量只有很少条目的文件的环境中很有用。  
close\_timeout选项在关闭文件处理程序比发送所有日志行更重要的环境中很有用。 有关更多详细信息，请参阅设置探矿者。

确保在使用这些配置选项之前阅读这些配置选项的文档。

## 2.Filebeat使用了太多的CPU？ ##

Filebeat可能被配置为频繁扫描文件。 检查filebeat.yml配置文件中scan\_frequency的设置。 将scan\_frequency设置为小于1s可能会导致Filebeat在频繁的循环中扫描磁盘。

## 3.注册文件太大？ ##

Filebeat保持每个文件的状态并将该状态保存在registry\_file中的磁盘上。 Filebeat重新启动时，文件状态用于在前一个位置继续读取文件。 如果每天都生成大量新文件，则注册表文件可能会变得太大。 要减小注册表文件的大小，有两个可用的配置选项：clean\_removed和clean\_inactive。

对于不再接触并忽略的旧文件（请参阅ignore\_older），我们建议您使用clean\_inactive。 如果旧文件从磁盘中删除，请使用clean\_removed选项。

## 4.linux Inode重用会导致Filebeat跳过行吗？ ##

Inode重用会导致Filebeat跳过行吗？  
在Linux文件系统上，Filebeat使用inode和设备来识别文件。  
从磁盘中删除文件时，可将inode分配给新文件。  
在涉及文件旋转的使用情况下，如果旧文件被删除并且之后立即创建新文件，  
新文件可能与删除的文件具有完全相同的inode。在这种情况下，Filebeat假定新文件与旧文件相同，并尝试在旧位置继续读取，这是不正确的。

默认状态不会从注册表文件中删除。要解决inode重用问题，我们建议您使用clean\_ \*选项（特别是clean\_inactive）来删除非活动文件的状态。  
例如，如果您的文件每24小时轮换一次，并且轮换的文件不再更新，则可以将ignore\_older设置为48小时，将clean\_inactive设置为72小时。

您可以将clean\_removed用于从磁盘中删除的文件。请注意，clean\_removed会在扫描期间无法找到文件时清除注册表中的文件状态。如果文件稍后再次显示，它将从头开始重新发送。

## 5.Filebeat没有运送文件的最后一行？ ##

Filebeat使用换行符来检测事件的结束。 如果将行逐渐添加到正在采集的文件中，则在最后一行之后需要换行符，否则Filebeat将不会读取文件的最后一行。

## 6.Filebeat长时间保持已删除文件的打开文件处理程序(handler)？ ##

在默认行为中，Filebeat会打开文件并保持打开状态，直到达到文件末尾。  
在配置的输出很长时间（例如Elasticsearch或Logstash不可用）的情况下，这可能会导致Filebeat将文件处理程序保留到同时从文件系统中删除的文件。 只要Filebeat保持已删除的文件处于打开状态，操作系统就不会释放磁盘空间，这可能会导致磁盘利用率增加，甚至出现磁盘不足的情况。

为了缓解这个问题，您可以将close\_timeoutedit设置设置为"5m"。 这将确保每5分钟关闭一次文件处理程序，而不管是否达到EOF。  
请注意: 如果在Filebeat到达文件末尾之前删除文件，则此选项可能会导致数据丢失。

## 7.需要限制Filebeat使用的带宽？ ##

如果您需要限制带宽使用率，我们建议您在操作系统OS上配置网络堆栈以执行带宽限制。

例如，以下Linux命令通过在通过端口5044的TCP连接上设置50 kbps的限制来限制Filebeat和Logstash之间的连接：

tc qdisc add dev $DEV root handle 1: htb
    tc class add dev $DEV parent 1:1 classid 1:10 htb rate 50kbps ceil 50kbps
    tc filter add dev $DEV parent 1:0 prio 1 protocol ip handle 10 fw flowid 1:10
    iptables -A OUTPUT -t mangle -p tcp --dport 5044 -j MARK --set-mark 10

使用操作系统工具执行带宽限制可让您更好地控制策略。 例如，您可以使用操作系统工具在白天限制带宽，但不是在晚上。 或者您可以保留带宽不受限制，但为流量分配低优先级。

## 8.配置问题 ##

您的配置文件的结构有问题，或者您使用了YAML分析程序无法解析的路径或表达式，因为配置文件包含未正确转义的字符。

如果YAML文件包含具有空格或不常用字符的路径，请将路径包装在单引号中（请参阅将单引号标记为包裹路径）。

另请参阅YAML提示和疑难解答中的一般建议：[https://www.elastic.co/guide/en/beats/filebeat/current/yaml-tips.html][https_www.elastic.co_guide_en_beats_filebeat_current_yaml-tips.html]

## 9.Kibana中的仪表板正在错误地分解数据字段？ ##

索引模板可能未正确加载。 请参阅步骤4：在Elasticsearch中加载索引模板。

## 10.字段在Kibana可视化中没有索引或可用？ ##

如果您最近执行了加载或解析自定义结构化日志的操作，则可能需要刷新索引以使字段在Kibana中可用。 要刷新索引，请使用刷新API。 例如：

curl -XPOST 'http://localhost:9200/filebeat-2016.08.09/_refresh'

[https_www.jianshu.com_p_2557bb606e22]: https://www.jianshu.com/p/2557bb606e22
[close_renamed]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#close-renamed
[close_removed]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#close-removed
[close_eof]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#close-eof
[close_timeout]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#close-timeout
[harvester_limit]: https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html#harvester-limit
[https_www.elastic.co_guide_en_beats_filebeat_current_yaml-tips.html]: https://www.elastic.co/guide/en/beats/filebeat/current/yaml-tips.html