kafka+zk三台集群问题排查

ゝ一世哀愁。 2021-09-25 14:36 322阅读 0赞

### 问题描述： ###

项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。

### 重新安装zk和kafka ###

操作步骤

**1、先把zk和kafka都停掉**

三台都执行

zookeeper/bin/zkServer.sh stop

三台都执行

kafka/bin/kafka-server-stop.sh

**2、把之前的目录文件都备份删除**

mv /data/zkData /data/zkData-bak

mv /data/zkLogData /data/zkLogData-bak

mv /mnt/kafka-logs /mnt/kafka-logs-bak

**重新建目录**

mkdir /data/zkData

mkdir /data/zkLogData

每台zk的 /data/zkData目录下创建myid文件，内容分别是1、2、3

最后重启zk和kafka

### 彻底删除topic ###

配置文件增加delete.topic.enable=true

使用kafka-topic的delete命令删除

./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

登录zk删除

（1）登录zookeeper客户端：命令：./bin/zkCli.sh
    
         （2）找到topic所在的目录：ls /brokers/topics
    
         （3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。

### **自动创建topic** ###

**修改kafka配置文件server.properties**

`auto.create.topics.enable` =true

重启kafka即可

### 连接失败的问题 ###

报错信息如下

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyq56uf_size_20_color_FFFFFF_t_70_g_se_x_16][]

搜索后提示配置zk的最大连接数据

修改zoo.cfg

maxClientCnxns=10000

重启zookeeper即可

到这里基本上没啥问题了，金仓同步工具测试建表，不过没有自动创建topic，再测试推送一批数据，kafka这边自动创建了topic并且数据量也一致的，说明没问题了。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pyq56uf_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20210923/ba62eab4b03d4550a45900acda0171c0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，322人围观）

还没有评论，来说两句吧...

相关阅读

相关 Oracle RAC集群故障排查：问题实例集锦

在排查Oracle RAC集群的故障时，可能会遇到各种实例和情况。以下是一些常见的问题实例集锦： 1. **数据库状态异常**： - 例如：“数据库处于挂起状态”。

梦里梦外;/ 2024年12月22日 11:18/ 0 赞/ 14 阅读

相关 RocketMQ集群突发大量超时问题排查及优化

缘起访问线上的`RocketMQ`集群的`dashboard`突然上不去了提示超时 ![format_png][] 初次排查看报错很清晰可以看到就是`tim

秒速五厘米/ 2023年10月15日 16:08/ 0 赞/ 39 阅读

相关 Nginx部署三台Tomcat集群详细操作步骤

详细步骤请看教程视频：[视频地址][Link 1] 以下是安装教程和关键代码等资料：讲解图例： ![在这里插入图片描述][5bbd23d903fd4f419948a3

我不是女神ヾ/ 2023年10月07日 20:53/ 0 赞/ 42 阅读

相关 kubernetes集群问题排查

本文个人博客地址为：[http://www.huweihuang.com/article/kubernetes/kubernetes-troubleshooti

水深无声/ 2022年06月16日 05:42/ 0 赞/ 305 阅读

相关三台服务器搭建zookeeper集群

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeepe

系统管理员/ 2022年05月24日 06:42/ 0 赞/ 271 阅读

相关三台机器搭建Hadoop集群

目标：一台Master 两台Slave 一、修改主机名，配置/etc/hosts文件 "/etc/hosts"这个文件是用来配置主机将用的DNS服务

╰+哭是因爲堅強的太久メ/ 2022年05月18日 00:38/ 0 赞/ 196 阅读

相关三台服务器Redis集群搭建

1、安装配置redis 安装redis步骤如下：下载最新版本或拷贝源版本到安装机器 \ wget http://download.redis.io/releases

淡淡的烟草味﹌/ 2022年02月28日 14:58/ 0 赞/ 668 阅读

相关 hadoop集群搭建-（三台机器）

目录安装jdk 安装hadoop 配置ssh 配置集群集群启动及测试附录 Hadoop组成 HDFS架构概述 YARN架构概述 MapReduce架

r囧r小猫/ 2021年11月23日 11:34/ 0 赞/ 403 阅读

相关 kafka+zk三台集群问题排查

问题描述：项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。重新

ゝ一世哀愁。/ 2021年09月25日 14:36/ 0 赞/ 323 阅读

相关配置三台服务器组成的ELK集群（一）

这个ELK集群的搭建是在6月份做完，从单机尝试到完成集群配置，前后持续了一周时间、每天抽1~2小时完成的。完成后也写了个简单的文档存在本地了，一直没时间更新到博客园。大名鼎

╰半橙微兮°/ 2021年09月19日 02:52/ 0 赞/ 349 阅读