如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作

雨点打透心脏的1/2处 2024-04-01 13:15 53阅读 0赞

#### 文章目录 ####

*   *  功能简介
     *  操作流程
     *  操作亮点
     *   *  一次扩缩多个Topic
         *  自定义副本目标节点
         *  可预览扩缩副本的计划并手动修改
         *  限流扩缩
     *  实现原理
     *  Know Streaming介绍

### 功能简介 ###

扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。

但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。

比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。

但是你想要扩副本的时候才发现, kafka并没有提供此类功能, 处境很尴尬

现在,用Know Streaming 这个将不再是问题！

### 操作流程 ###

①. Topic - > 批量变更 -> 迁移副本

![在这里插入图片描述][5621598fbf6c4134b01b29f2cfe99bbc.png]

②. 填写想要扩缩副本的Topic(可多选)

![在这里插入图片描述][5712e68dc0714f88a79ac90c6e6151c8.png]

### 操作亮点 ###

#### 一次扩缩多个Topic ####

设置的时候可以一次性选择多个Topic进行副本的扩缩，并且每个Topic可以设置不同的副本数

![在这里插入图片描述][d6d5d1c319e147fe9b9321e10894a077.png]

#### 自定义副本目标节点 ####

如果你想扩缩副本操作之后 副本应该分配在哪些节点中，则可以在下面这里设置。

**注：目标节点的数量一定是要大于等于 已选择Topic最终副本的最大数量的哦**

比如一个topic 扩至2 一个扩至3. 那么目标节点一定要大于等于3

![在这里插入图片描述][2afe0192ddb04043b17efc123c5a2174.png]

#### 可预览扩缩副本的计划并手动修改 ####

你可能想了解一下，扩缩之后的分配情况是什么样子的，那么你可以点击 **预览任务计划**

![在这里插入图片描述][e4353b7a098145d4937e7a56be439ef5.png]

可以看到你可以针对每个Topic的每个分区的分配情况手动调节（一般情况是不需要的,除非你知道你做的是什么）

这个功能不仅能让你知道最终的分配情况，还能让你手动指定Broker还有顺序。

**这个有什么用呢？**

假如你想指定某个副本为Leader，按照优先副本的选举策略，你是不是就可以把你想要成为Leader副本的那个调整到最前面。

#### 限流扩缩 ####

扩缩副本的时候，本质上就是 副本的复制和副本的删除流程。

为了防止整个过程对正常业务的影响，这里可以让你设置整个过程的限流阈值。

减少对集群的压力

### 实现原理 ###

副本的扩缩,本质上就是执行了一次分区副本重分配。

关于分区副本重分配流程请看： [分区副本重分配流程][Link 1]

### Know Streaming介绍 ###

> Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛  
> 不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家

[Know Streaming Github][]

[Know Streaming 官网][Know Streaming]

[如何参与共建][Link 2]

[如何快速优雅的用Know Streaming创建Topic][Know Streaming_Topic]

[5621598fbf6c4134b01b29f2cfe99bbc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/7603f6bbf42c4cdb9f8f36dfeb089e59.png
[5712e68dc0714f88a79ac90c6e6151c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8ddb2b7d6fab49af9f2b6a1188799978.png
[d6d5d1c319e147fe9b9321e10894a077.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/df89b140d1a44d248f249e8172057d7a.png
[2afe0192ddb04043b17efc123c5a2174.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/8a88488fd73d419fa9f5020f68e93a98.png
[e4353b7a098145d4937e7a56be439ef5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/92179a9f715c41258420664f76210783.png
[Link 1]: https://www.szzdzhp.com/kafka/op/op-partition-reasignment.html
[Know Streaming Github]: https://github.com/didi/KnowStreaming
[Know Streaming]: https://doc.knowstreaming.com
[Link 2]: https://doc.knowstreaming.com/product/10-contribution
[Know Streaming_Topic]: https://szzdzhp.blog.csdn.net/article/details/127513748