Kafka单机及伪集群模式部署及基本操作

忘是亡心i 2023-03-13 05:24 16阅读 0赞

## 一.下载，解压 ##

![在这里插入图片描述][20200511154041917.png]

## 二.启动服务器【先启动zookeeper】 ##

Kafka使用ZooKeeper，因此如果还没有，请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。  
启动zookeeper：  
![在这里插入图片描述][20200511154706687.png]  
启动Kafka：  
![在这里插入图片描述][20200511154823548.png]

## 三.创建topic ##

用一个分区和一个副本创建一个名为“ test1”的主题：  
![在这里插入图片描述][20200511155129335.png]  
现在，运行list topic命令，可以看到该主题：  
![在这里插入图片描述][20200511155256351.png]

## 四.生产消息 ##

Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送。

运行生产者，然后在控制台中键入一些消息以发送到服务器。  
![在这里插入图片描述][20200511155806714.png]

## 五.消费消息 ##

Kafka还有一个命令行使用者，它将消息转储到标准输出。  
![在这里插入图片描述][20200511155941952.png]  
如果上面的每个命令都在不同的终端上运行，那么能够在生产者终端中键入消息，并看到它们出现在消费者终端中。  
生产者：  
![在这里插入图片描述][20200511160121119.png]  
消费者：  
![在这里插入图片描述][2020051116015964.png]

## 六.伪集群模式 ##

对于Kafka来说，单个代理只是一个大小为1的集群，因此除了启动更多的代理实例之外，没有什么太大的变化。但是，只是为了感受一下，让我们将集群扩展到三个节点（仍然全部在本地计算机上）。

首先，我们为每个代理创建一个配置文件（在Windows上，使用copy命令代替）：  
![在这里插入图片描述][2020051116085936.png]  
编辑这些新文件并设置以下属性：  
![在这里插入图片描述][20200511161130119.png]  
编辑内容如下：  
![在这里插入图片描述][20200511161150372.png]  
broker.id属性是集群中每个节点的唯一且永久的名称。我们只需要覆盖端口和日志目录，这是因为我们在同一台计算机上运行它们，并且希望所有代理都不要试图在同一端口上注册或覆盖彼此的数据。

已经有Zookeeper并启动了单个节点，因此只需要启动两个新节点：  
![在这里插入图片描述][20200511161625772.png]  
![在这里插入图片描述][20200511161606695.png]  
查看：  
![在这里插入图片描述][20200511161651790.png]  
现在，创建一个具有三个复制因子的新主题：  
![在这里插入图片描述][20200511161842622.png]  
查看新主题类型：  
![在这里插入图片描述][20200511162042689.png]  
这是输出的说明。第一行给出了所有分区的摘要，每一行都给出了有关一个分区的信息。由于该主题只有一个分区，因此只有一行。

*  leader：负责给定节点分区的所有读取和写入操作。每个节点将成为分区的随机选择部分的leader。
 *  replicas：该分区复制日志的节点列表，无论它们是leader还是当前处于活动状态。
 *  isr：“同步”副本的集合。这是副本列表的子集，当前仍处于活动状态并追随leader。

向新主题发布一些消息：  
![在这里插入图片描述][20200511164426798.png]  
使用这些消息：  
![在这里插入图片描述][20200511164459221.png]  
测试一下容错能力。server-1扮演领导者的角色，所以让我们杀死它：  
![在这里插入图片描述][20200511164907738.png]  
领导权已切换到关注者之一，并且节点1不再位于同步副本集中：  
![在这里插入图片描述][20200511164933869.png]  
但是，即使最初进行写操作的领导者已经下线，消息仍然可以使用：  
![在这里插入图片描述][20200511165113707.png]

[20200511154041917.png]: /images/20230312/325ffcd984fd4691be66e93019a38519.png
[20200511154706687.png]: /images/20230312/19172e7839b744e9942ebbd1f1cda2b7.png
[20200511154823548.png]: /images/20230312/49792a83efd54c5788b84c152d7b7449.png
[20200511155129335.png]: /images/20230312/61fe072a5a2242938a021e047b845618.png
[20200511155256351.png]: /images/20230312/f7f36e8784ba4e2ab0b304bbc15989f6.png
[20200511155806714.png]: /images/20230312/864e7c5feb074c6782c5548b367239c3.png
[20200511155941952.png]: /images/20230312/3ea6bbe4d08e436c86df5bdd1b942e73.png
[20200511160121119.png]: /images/20230312/625bf10f9d4a4900a1591faafedcf90b.png
[2020051116015964.png]: /images/20230312/b1c1d87b971b4b5ca99573995f5831ab.png
[2020051116085936.png]: /images/20230312/eda24cccbdc84808b088bc3636cdec93.png
[20200511161130119.png]: /images/20230312/f4b9966e56cb42dfb54a7ea398260d72.png
[20200511161150372.png]: /images/20230312/dff5a941842949f9a60113a8320fc9a6.png
[20200511161625772.png]: /images/20230312/7be71deb2248470da1af53b2d44e97b9.png
[20200511161606695.png]: /images/20230312/397cbd779f694b90ae993fbffbef717f.png
[20200511161651790.png]: /images/20230312/537f99ba264649869cad3816a322b2c7.png
[20200511161842622.png]: /images/20230312/a9159280e7ec4df8ab6673bd266b5a2e.png
[20200511162042689.png]: /images/20230312/8781705bdd4b4b8880d5428b9f8a085b.png
[20200511164426798.png]: /images/20230312/f52098e079454927910419d3d9831798.png
[20200511164459221.png]: /images/20230312/6364b75aae20434cbfb1a4a6cf7aa7b0.png
[20200511164907738.png]: /images/20230312/7848921c30c14313a0edbf8dfc5c3a5e.png
[20200511164933869.png]: /images/20230312/f599c52198504a21be5eaf0d128a707f.png
[20200511165113707.png]: /images/20230312/3aa0ccc722ca4956999dda868be31410.png