Docker简单安装Kafka及测试-亲测成功

╰+哭是因爲堅強的太久メ 2023-01-22 10:58 14阅读 0赞

# Docker简单安装kafka及测试-亲测成功 #

## Kafka简介： ##

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种`高吞吐量的分布式发布订阅消息系统`，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

**理解：**  
kafka是一个分布式，消息队列和消息系统，它将消息存放在磁盘上,是一个实时数据处理系统，可以横向扩展、高可靠，而且还变态快。

**为什么需要消息中间件**

消息中间件的作用主要有两点:

解耦消息的生产和消费。缓冲。

--------------------

## 安装kafka： ##

**拉取镜像**

docker pull wurstmeister/kafka

**查看镜像**

docker images

**启动容器**

docker run -dit --name kafka_01 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.17.3.156:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://ip:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" -t wurstmeister/kafka

`注：必须添加-e KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" 经过多次尝试，不加这句话就会启动不起来！`  
`KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://ip:9092 如果是远程连接需要外网ip`

-e KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

**进入容器**

docker exec -it  9568148bfb03  bash
    cd /opt/kafka_xxxx/

**创建topic**

bin/kafka-topics.sh --create --zookeeper 172.17.3.156:2181 --replication-factor 1 --partitions 1 --topic mykafka

**查看topic创建结果**

bin/kafka-topics.sh --list --zookeeper 172.17.3.156:2181

## 测试发送和接收消息 ##

**发送端命令:**

bin/kafka-console-producer.sh --broker-list 172.17.3.156:9092 --topic mykafka

**进入容器**