kafka单条消息过大导致线上OOM，运维连夜跑路了！

深藏阁楼爱情的钟 2024-03-30 10:32 67阅读 0赞

### 1 线上问题 ###

kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。

查看日志，发现Pro程序爆异常kafka.common.MessageSizeTooLargeException。

查看kafka配置，默认单条消息最大1M，当单条消息长度超过1M，就会出现发送到broker失败，从而导致消息在producer的队列一直累积，直到Pro OOM。

赶紧修改kafka配置，解决问题。

### 2 修改步骤 ###

*  修改kafka的broker配置：message.max.bytes（默认1000000B），单条消息最大长度。使用kafka时，应预估单条消息的最大长度，不然会发送失败
 *  修改kafka的broker配置：replica.fetch.max.bytes (默认1MB)，broker可复制的消息的最大字节数。应该比message.max.bytes大，否则broker会接收此消息，但无法将此消息复制出去，从而造成数据丢失
 *  修改消费者程序端配置：fetch.message.max.bytes (默认1MB) – 消费者能读取的最大消息。应该≥message.max.bytes。若不调节该参数，会导致消费者无法消费到消息，且不会爆出异常或警告，导致消息在broker累积

按需调整上三参数。

### 3 是否参数调节得越大越好 ###

或者说，单条消息越大越好？参考http://www.mamicode.com/info-detail-453907.html说法：

#### 3.1 性能 ####

通过性能测试，kafka在消息为10K时吞吐量达到最大，更大消息降低吞吐量，在设计集群的容量时，尤其要考虑。

#### 3.2 可用的内存和分区数 ####

Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间，假设

replica.fetch.max.bytes=1M

且有1000个分区，则需近1G内存，确保分区数最大的消息不会超过服务器内存，否则OOM。

消费端的fetch.message.max.bytes指定最大消息需要的内存空间，同样，分区数最大需要内存空间不能超过服务器内存。所以，若你有大消息要传送，则在内存一定时，只能：

*  使用较少分区数
 *  或使用更大内存的服务器

#### 3.3 GC ####

更大的消息会让GC更长（因为broker需分配更大的块），关注GC日志和服务器日志信息。若长时间的GC导致kafka丢失了zk的会话，则需配置zookeeper.session.timeout.ms参数为更大的超时时间。

发表评论取消回复

表情：

评论列表（有 0 条评论，67人围观）

还没有评论，来说两句吧...

相关阅读

相关线上生产大文件下载导致 OOM，顺藤摸瓜拿下

线上问题排查

青旅半醒/ 2024年05月01日 16:29/ 0 赞/ 70 阅读

相关 flume接收kafka单条消息过大处理方式

看kafka官网配置 new comsumer.configs ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_...

我就是我/ 2024年04月19日 15:56/ 0 赞/ 84 阅读

相关糟了，线上服务出现OOM了

前言前一段时间，公司同事的一个线上服务`OOM`的问题，我觉得挺有意思的，在这里跟大家一起分享一下。我当时其实也参与了一部分问题的定位。 1 案发现场他们

深藏阁楼爱情的钟/ 2024年04月03日 11:07/ 0 赞/ 85 阅读

相关 SpringBoot项目上线运维

文章目录一.高级属性配置 1.1 简介 1.2 临时属性设置 1.3 配置文件的四级分类 1.4 自定义配置

短命女/ 2024年03月31日 08:47/ 0 赞/ 80 阅读

相关 kafka单条消息过大导致线上OOM，运维连夜跑路了！

1 线上问题 kafka生产者罢工，停止生产，生产者内存急剧升高，导致程序几次重启。查看日志，发现Pro程序爆异常kafka.common.MessageSizeTo

深藏阁楼爱情的钟/ 2024年03月30日 10:32/ 0 赞/ 68 阅读

相关入职外包四个月，我连夜跑路

有一种打工人的羡慕，叫做“大厂”。真是年少不知大厂香，错把青春插稻秧。但是，在深圳有一群比大厂员工更庞大的群体，他们顶着大厂的“名”，做着大厂的工作，还可以享受大厂的伙

刺骨的言语ヽ痛彻心扉/ 2024年03月17日 17:07/ 0 赞/ 75 阅读

相关 kafka线上问题运维总结

Kafka常用JMX监控指标整理 2.0版本 bin/kafka-run-class.sh kafka.tools.JmxTool --jmx-url service

绝地灬酷狼/ 2022年11月19日 12:57/ 0 赞/ 629 阅读

相关【kafka】Kafka consumer处理大消息数据过大导致消费停止问题

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

不念不忘少年蓝@/ 2022年08月30日 04:03/ 0 赞/ 290 阅读

相关 2.【kafka运维】ConfigCommand运维脚本

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

墨蓝/ 2022年08月29日 05:53/ 0 赞/ 338 阅读

相关 17. 自动化运维——代码上线

之前已经使用过expect脚本，可以远程登录机器并执行命令，其实expect脚本也可以传输文件。本案例的需求就是通过expect脚本来同步文件，从而实现代码上线。生产环境中

落日映苍穹つ/ 2022年04月23日 10:32/ 0 赞/ 255 阅读