利用supervisor解决kafka自杀问题

柔光的暖阳◎ 2022-01-29 03:57 505阅读 0赞

# 1 背景： #

我有一套ELK在做日志收集，但是经常莫名其妙的出现kafka自己shutdown的问题，没有周期性，有时候几周一次，有时候几个月一次。

报错日志如下：

[2019-05-17 15:17:16,047] ERROR Failed to clean up log for __consumer_offsets-45 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)
    java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-45/00000000000000000000.log
    	at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)
    	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
    	at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
    	at sun.nio.fs.UnixCopyFile.move(UnixCopyFile.java:409)
    	at sun.nio.fs.UnixFileSystemProvider.move(UnixFileSystemProvider.java:262)
    	at java.nio.file.Files.move(Files.java:1395)
    	at org.apache.kafka.common.utils.Utils.atomicMoveWithFallback(Utils.java:805)
    	at org.apache.kafka.common.record.FileRecords.renameTo(FileRecords.java:224)
    	at kafka.log.LogSegment.changeFileSuffixes(LogSegment.scala:488)
    	at kafka.log.Log.asyncDeleteSegment(Log.scala:1924)
    	at kafka.log.Log.$anonfun$replaceSegments$6(Log.scala:1987)
    	at kafka.log.Log.$anonfun$replaceSegments$6$adapted(Log.scala:1982)
    	at scala.collection.immutable.List.foreach(List.scala:392)
    	at kafka.log.Log.replaceSegments(Log.scala:1982)
    	at kafka.log.Cleaner.cleanSegments(LogCleaner.scala:580)
    	at kafka.log.Cleaner.$anonfun$doClean$6(LogCleaner.scala:512)
    	at kafka.log.Cleaner.$anonfun$doClean$6$adapted(LogCleaner.scala:511)
    	at scala.collection.immutable.List.foreach(List.scala:392)
    	at kafka.log.Cleaner.doClean(LogCleaner.scala:511)
    	at kafka.log.Cleaner.clean(LogCleaner.scala:489)
    	at kafka.log.LogCleaner$CleanerThread.cleanLog(LogCleaner.scala:350)
    	at kafka.log.LogCleaner$CleanerThread.cleanFilthiestLog(LogCleaner.scala:319)
    	at kafka.log.LogCleaner$CleanerThread.doWork(LogCleaner.scala:300)
    	at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:82)
    	Suppressed: java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-45/00000000000000000000.log -> /tmp/kafka-logs/__consumer_offsets-45/00000000000000000000.log.deleted
    		at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)
    		at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
    		at sun.nio.fs.UnixCopyFile.move(UnixCopyFile.java:396)
    		at sun.nio.fs.UnixFileSystemProvider.move(UnixFileSystemProvider.java:262)
    		at java.nio.file.Files.move(Files.java:1395)
    		at org.apache.kafka.common.utils.Utils.atomicMoveWithFallback(Utils.java:802)
    		... 17 more
    [2019-05-17 15:17:16,135] INFO Stopping serving logs in dir /tmp/kafka-logs (kafka.log.LogManager)
    [2019-05-17 15:17:16,139] ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed (kafka.log.LogManager)

# 2 问题分析 #

Kafka自杀的问题我搜集了很多资料，大致上在3种情况下kafka会自己shutdown

第一种：windows操作系统兼容性不好，kafka运行在windows上不是很稳定。但是我是运行在centos上的，所以这种场景Pass。

第二种：磁盘有坏道，KAFKA\_HOME/config/server.properties中log.dirs=/tmp/kafka-logs这个配置项是配置kafka日志和数据写入文件的，如果磁盘有坏道当写入有坏道的磁盘是就会挂掉，建议这种情况换一个磁盘目录。但是我是运行在AWS云平台上的，排除坏道的可能，所以该场景Pass。

第三种：高版本的kafka当并发达到一定阈值（好像是4000）或者内存资源不足时也会自己把自己shutdown。这个有可能，因为我云实例配置只有4G，闲时内存就已经所剩无几了。

解决思路：将kafka托管给supervisor，由supervisor负责监控kafka的进程，发现kafka挂掉后自动将它拉起。

# 3 Supervisor安装和配置 #

网上有成熟的攻略，按照攻略安装，装好后只需要添加一个kafka的配置。

supervisor安装：

easy_install supervisor

生成基础配置：

echo_supervisord_conf > /etc/supervisord.conf

修改基础配置：

vi /etc/supervisord.conf
    最后添加两行
    [include]
    files = /etc/supervisor/*.conf

添加kafka的配置

vi /etc/supervisor/kafka..conf
    [program:kafka]
    command=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
    user=root
    autostart=true
    autorestart=true
    startsecs=10
    stdout_logfile=/tmp/supervisor_kafka.log
    redirect_stderr=true

# 4 supervisor执行报错，找原因 #

软件行业分析问题只能靠两种方式：经验和日志。我是supervisor的新手，没有任何经验可谈，所以只能依靠supervisor的日志系统。

supervisor的日志分为两部分：基础日志和每个服务的服务日志。

supervisor的基础日志，默认在/tmp/supervisord.log中，/etc/supervisord.conf修改位置。

每个服务自己的日志，对应到这里就是kafka的日志，默认是不打印的，需要自己配置：

vi /etc/supervisor/kafka.conf
    stdout_logfile=/tmp/supervisor_kafka.log
    redirect_stderr=true

从kafka报错的日志中发现是没有配置java环境！这里很奇怪我在/etc/profile和~.bashrc里都配置了java环境，而且command命令单独执行也是成功的。

原因：我的jdk是wget自己安装的，并不是操作系统自带的，上面的配置是账号登陆后bash加载的配置，但是supervisor是直接在内核中执行，所以java的环境变量配置没有生效。

解决思路很清楚了，让java环境生效

# 5 解决Java环境的问题 #

##   5.1 在command增加个source让java环境配置生效： ##

source /etc/profile ; /usr/local/kafka/bin/kafka-server-start.sh