Kafka——部署与应用

浅浅的花香味﹌ 2022-05-26 13:37 163阅读 0赞

本节目标：

1、掌握kafka的安装配置

2、掌握kafka消息队列的基本操作

所需软件：kafka-2.11

节点部署：

<table> 
 <tbody> 
  <tr> 
   <td><p>&nbsp;</p></td> 
   <td><p>ZK</p></td> 
   <td><p>Kafka</p></td> 
  </tr> 
  <tr> 
   <td><p><strong>master(192.168.85.10)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave1(192.168.85.11)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave2(192.168.85.12)</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
   <td><p>l&nbsp; <strong>&nbsp;</strong></p></td> 
  </tr> 
  <tr> 
   <td><p><strong>slave3(192.168.85.13)</strong></p></td> 
   <td><p><strong>&nbsp;</strong></p></td> 
   <td><p><strong>&nbsp;</strong></p></td> 
  </tr> 
 </tbody> 
</table>

kafka依赖zk，不一定跟zk在同一台机器上。

1、解压安装kafka

2、配置文件修改

config/ server.properties

broker.id=0

log.dirs=/usr/local/src/kafka\_2.11-1.1.0/kafka-logs

zookeeper.connect=master:2181,slave1:2181,slave2:2181

3、同步到slave1，slave2

4.修改slave1，slave2的broker.id

5、每个结点启动kafka

在kafka安装目录下创建脚本，通过脚本启动更方便，脚本如下：

nohup bin/kafka-server-start.sh config/server.propertien >kafka.log 2>&1 &

bash startkafka.sh

6、基本操作

（1）创建topic

./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --topic tp1--partitions 2 --replication-factor 2

（2）查看topic

./bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

（3）查看描述

./bin/kafka-topics.sh --describe --zookeeper master:2181,slave1:2181,slave2:2181

![20180503145851499][]

（4）生产者

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic tp1

（5）消费者

./bin/kafka-console-consumer.sh  --zookeepermaster:2181,slave1:2181,slave2:2181 --topic tp1

[20180503145851499]: /images/20220526/ee7632efcbb6403fbf8fc61603311548.png

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关【Distributed】zookeeper+kafka的应用及部署

文章目录一、zookeeper 1. zookeeper的概述 1.1 Zookeeper 定义 1.2 Z

川长思鸟来/ 2024年04月06日 14:50/ 0 赞/ 73 阅读

相关 Kafka集群部署与测试

目录 Kafka集群部署与测试一、安装Kafka 二、启动kafka服务 -------------------- Kafka集群部署与测试一、安装Kaf

迈不过友情╰/ 2024年04月05日 07:11/ 0 赞/ 74 阅读

相关 kafka核心概念与应用场景

Kafka的主要特点 -------------------- Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分

r囧r小猫/ 2023年02月23日 08:42/ 0 赞/ 42 阅读

相关【kafka】kafka-manager安装部署

1、下载二进制由于只是预研就直接下载二进制，就不从源码编译了，开源也提供了直接可运行的二进制，下载链接：[https://github.com/yahoo/CMAK/r

青旅半醒/ 2022年12月26日 07:29/ 0 赞/ 369 阅读

相关 kafka 部署

目的 > 部署 kafka 集群 > 提供 falcon-transfer 使用 > kafka 需要使用 zookeeper 集群 > 共享 hadoop

た入场券/ 2022年11月29日 12:19/ 0 赞/ 172 阅读

相关 Kafka（二）： Kafka 集群部署与使用

一、Kafka 集群部署 Kafk

秒速五厘米/ 2022年06月15日 02:13/ 0 赞/ 196 阅读

相关 kafka部署

1、将下载的kafka解压到/opt/soft目录下 tar-zxvf kafka\_2.11-0.10.2.1.tgz -C/opt/soft 2、进入kafka/li

今天药忘吃喽~/ 2022年06月05日 08:37/ 0 赞/ 185 阅读

相关 Kafka——部署与应用

本节目标： 1、掌握kafka的安装配置 2、掌握kafka消息队列的基本操作所需软件：kafka-2.11 节点部署： <table> <tbody>

浅浅的花香味﹌/ 2022年05月26日 13:37/ 0 赞/ 164 阅读

相关 Kafka总结（九）：KafKa 与Spark整合应用

[Kafka总结（一）：Kafka概述][Kafka_Kafka] [Kafka总结（二）：Kafka核心组件][Kafka_Kafka 1] [Kafka总结（三）：Ka

冷不防/ 2022年05月18日 04:41/ 0 赞/ 445 阅读

相关 Kafka总结（八）：KafKa与ELK整合应用

[Kafka总结（一）：Kafka概述][Kafka_Kafka] [Kafka总结（二）：Kafka核心组件][Kafka_Kafka 1] [Kafka总结（三）：Ka

╰半夏微凉°/ 2022年05月18日 04:41/ 0 赞/ 237 阅读