kafka问题总结

忘是亡心i 2022-04-05 15:40 320阅读 0赞

一、连接超时问题

问题描述

2018-12-11 17:14:04.956 ERROR 19888 --- \[nio-8080-exec-4\] o.s.k.support.LoggingProducerListener    : Exception thrown when sending a message with key='null' and payload='\{"houseId":24,"operation":"index","retry":0\}' to topic house\_build:

org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

在网上找了下，总结的情况大概有：

可能是kafka配置没配好，kafka配置没有对外开放host、port

端口号不统一

没有配置/etc/hosts

版本不兼容（网上有版本说值支持0.11.x.x的版本）

我的是在端口号那里解决了，把advertised.listeners那里的端口号打开，然后在windows上用telnet命令远程连接（出现ip框表示连接成功，当然需要首先打开telent服务）

![20181213110217329.png][]

![20181213105858645.png][]

二、 启动kafka时报错

[FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)][FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown _kafka.server.KafkaServerStartable_ java.io.FileNotFoundException_ _tmp_kafka-logs_.lock _Permission denied]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjE4NTEw_size_16_color_FFFFFF_t_70][]

原因：

网上也有很多说法，有的说是因为权限，有的说是因为占用，我更倾向于被占用了，因为是重启的时候的问题，应该是关闭的时候没有杀死进程

解决办法：

直接删除kafka的日志文件，同时杀死该进程

rm -rf /tmp/kafka-logs(文件为日志文件，可以在server.properties中修改位置）

ps ef | grep kafka

kill -9 进程

最后重启kafka

三、基于Kafka做二次开发时，生产者可以产生消息，通过kafka命令行也可以消费信息，但是通过代码无法获取消息，查看kakfa日志有如下错误信息

ERROR \[KafkaApi-0\] Number of alive brokers '0' does not meet the required replication factor '1' for。。。。。

![20181213111850434.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjE4NTEw_size_16_color_FFFFFF_t_70 1][]

问题原因：

此类问题在测试环境中容易出现，由于节点资源限制，brokers实例比offset topic副本数量少时出现此问题。

解决方案：

在server.properties中增加brokers实例数或者减少offset topic副本数量，配置项名称：offsets.topic.replication.factor =1（需要重启kafka服务）

[20181213110217329.png]: /images/20220405/fb03f3084a90443d8e07b4deaeb2ea1f.png
[20181213105858645.png]: /images/20220405/c73336cceca14604998a5258b9aab0cb.png
[FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown _kafka.server.KafkaServerStartable_ java.io.FileNotFoundException_ _tmp_kafka-logs_.lock _Permission denied]: https://www.cnblogs.com/biehongli/p/8933216.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjE4NTEw_size_16_color_FFFFFF_t_70]: /images/20220405/1f40f891bc2e412abc5699d4d679daa4.png
[20181213111850434.png]: /images/20220405/8ef767c6b0384050bec7e3ffbc13b8a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjE4NTEw_size_16_color_FFFFFF_t_70 1]: /images/20220405/45055753f47648f1bf2aa869ad75db07.png