处理K8S中日志收集filebeat报异常

╰+攻爆jí腚メ 2022-11-15 14:09 213阅读 0赞

> 处理K8S中日志收集filebeat报异常

##### 错误信息 #####

INFO producer/broker/51 maximum request accumulated, waiting for space

##### 解决办法 #####

1、修改filebeat的配置文件添加如下：

topic: '%{[fields][log_type]}'   
          partition.round_robin:
            reachable_only: false
          required_acks: 1
          compression: gzip
          max_message_bytes: 100000000

[参考][Link 1]：  
https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html\#kafka-max\_message\_bytes  
2、加大容器的内存

"resources": { 
                  "limits": { 
                    "cpu": "500m",
                    "memory": "524Mi"
                  },
                  "requests": { 
                    "cpu": "100m",
                    "memory": "100Mi"
                  }
                },

"resources": { 
                  "limits": { 
                    "cpu": "1500m",
                    "memory": "1524Mi"
                  },
                  "requests": { 
                    "cpu": "100m",
                    "memory": "100Mi"
                  }
                },

[Link 1]: https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html#kafka-max_message_bytes

发表评论取消回复

表情：

评论列表（有 0 条评论，213人围观）

还没有评论，来说两句吧...

相关阅读

相关 docker 启动k8s异常处理

文章目录场景现象原因解决突击面试场景 docker 桌面版启动k8s；环境

青旅半醒/ 2024年04月08日 09:55/ 0 赞/ 85 阅读

相关 k8s笔记日志--容器中添加filebeat收集器

apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config n

╰+攻爆jí腚メ/ 2023年05月31日 06:59/ 0 赞/ 25 阅读

相关 k8s日志预研—收集Kubernetes event（容器日志）

以下内容根据[简书链接][Link 1]，并结合自己的日志收集系统整理而成（一）使用收集event方案开源项目eventrouter，地址为：https://git

￡神魔★判官ぃ/ 2023年05月31日 06:56/ 0 赞/ 30 阅读

相关 elfk收集k8s日志（一）

本文介绍通过elk + filebeat方式收集k8s日志，其中filebeat以logagent方式部署。elfk最新版本：7.6.2 ------------------

梦里梦外;/ 2023年03月14日 10:49/ 0 赞/ 50 阅读

相关 elfk收集k8s日志（二）

本文介绍通过elk + filebeat方式收集k8s日志，其中filebeat以sidecar方式部署。elfk最新版本：7.6.2 -------------------

秒速五厘米/ 2023年02月10日 07:54/ 0 赞/ 103 阅读

相关 ELK+Filebeat+Kafka,SpringBoot异常日志收集

ELK+Filebeat+Kafka,SpringBoot异常日志收集概述 SpringBoot项目日志输出格式化配置Filebeat汇集换行的日志

小咪咪/ 2023年01月17日 11:52/ 0 赞/ 217 阅读

相关 K8S 使用 SideCar 模式部署 Filebeat 收集容器日志

> 推荐阅读 > > Helm3（K8S 资源对象管理工具）视频教程：[https://edu.csdn.net/course/detail/32506][https_

川长思鸟来/ 2022年12月19日 09:25/ 0 赞/ 159 阅读

相关 k8s场景下日志处理

现状当我们的应用部署在k8s的环境中以后，日志的处理也会成为一个需要研究的课题。相比于传统的环境，日志会伴随着容器的重启而消失，解决方案目前有ELK(EFK)和持久卷。

悠悠/ 2022年12月13日 01:37/ 0 赞/ 228 阅读

相关处理K8S中日志收集filebeat报异常

> 处理K8S中日志收集filebeat报异常错误信息 INFO producer/broker/51 maximum request accumulated, wa

╰+攻爆jí腚メ/ 2022年11月15日 14:09/ 0 赞/ 214 阅读

相关 k8s笔记8-部署filebeat+ELK日志方案

仅供本人学习、复习使用日志就是一组数据，数据即价值 k8s系统的组件日志 k8s cluster里面部署的应用程序日志 ![在这里插入图片描述][waterma

冷不防/ 2022年03月06日 07:50/ 0 赞/ 854 阅读