Docker安装Kafka（docker-compose）、EFAK监控

约定不等于承诺〃 2023-09-29 13:41 15阅读 0赞

[安装Docker][Docker]

[Docker安装mysql][Docker_mysql] EFAK监控面板会用到

**EFAK监控面板**  
![在这里插入图片描述][7a08591ea1934efb978bf1137bced6fe.png]

### 容器安装 ###

1、kafka需要zookeeper管理，所以需要先安装zookeeper。 （PS：2.8版本以后**kafka-Kraft 模式**不再依赖zk，目前别的很多组件都依赖zk注册，所以还是以zk举例）

2、下载zookeeper镜像

$ docker pull wurstmeister/zookeeper
    $ docker pull wurstmeister/kafka

启动zk镜像生成容器

docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
    $ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

启动kafka镜像生成容器

## docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
    $ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka

参数说明：  
\-e KAFKA\_BROKER\_ID=0 在kafka集群中，每个kafka都有一个BROKER\_ID来区分自己

\-e KAFKA\_ZOOKEEPER\_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka

\-e KAFKA\_ADVERTISED\_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。

\-e KAFKA\_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

\-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

3、验证kafka是否可以使用

$ docker exec -it kafka bash

进入 /opt/kafka\_2.12-2.3.0/bin/ 目录下

$ cd /opt/kafka_2.12-2.3.0/bin/

运行kafka生产者发送消息

$ ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun

发送消息

> hello world

运行kafka消费者接收消息

$ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning

### docker-compose ###

[安装docker-compose][docker-compose]

新建 /opt/mydocker/docker-compose.yml

version: "2"
     
    services:  #服务名，也可自定义
      zookeeper:
        image: wurstmeister/zookeeper
        container_name: zookeeper
        ports:
          - "2181:2181"
      kafka:
        image: wurstmeister/kafka
        container_name: kafka
        expose:
          - "9999"
        ports:
          - "9092:9092"
          - "9999:9999"
        environment:
          KAFKA_ADVERTISED_HOST_NAME: 192.168.233.129
          KAFKA_ZOOKEEPER_CONNECT:  zookeeper:2181
          JMX_PORT: 9999  #启用远程JMX 监控面板用
        volumes:
          - /var/run/docker.sock:/var/run/docker.sock

docker-compose config -q  # 检查配置，有问题才有输出，进入docker-compose.yml文件目录执行
    docker-compose up -d  # 启动所有docker-compose服务并后台运行
    docker ps  # 查看容器

### zookeeper查看节点 ###

进入容器

docker exec -it 容器id或容器name bash
    cd bin
    ./zkCli.sh
    ls /

![在这里插入图片描述][a455279652d3433f9b8b528ab9114bc0.png]  
查看kafka集群节点

ls /brokers/ids
    ls /brokers/topics

![在这里插入图片描述][0eb40e7eddfc49a9996c866242d4bbcf.png]

### 安装EFAK ###

[官网下载][Link 1]

`EFAK V2.0.7` 将 `Kafka-Eagle`重命名为 `EFAK`（Eagle For Apache Kafka）

tar -zxvf kafka-eagle-bin-2.0.7.tar.gz
    tar -zxvf efak-web-2.0.7-bin.tar.gz -C /opt/module/
    mv efak-web-2.0.7/ efak

修改配置文件 /opt/module/efak/conf/system-config.properties

# 第一处
    efak.zk.cluster.alias=cluster1
    cluster1.zk.list=192.168.233.129:2181
    
    
    # 第二处
    ######################################
    # kafka offset storage
    cluster1.efak.offset.storage=kafka
    # cluster2.efak.offset.storage=zk
    
    
    # 第三处
    ######################################
    # kafka sqlite jdbc driver address
    ######################################
    # sqlite 和 mysql 都可以
    ######################################
    # kafka mysql jdbc driver address
    ######################################
    efak.driver=com.mysql.cj.jdbc.Driver
    efak.url=jdbc:mysql://192.168.233.129:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
    efak.username=root
    efak.password=123456

添加环境变量

sudo vim /etc/profile.d/my_env.sh
    # kafkaEFAK
    export KE_HOME=/opt/module/efak
    export PATH=$PATH:$KE_HOME/bin

source /etc/profile

先启动zk和kafka

# 启动kafka-eagle
    bin/ke.sh start

![在这里插入图片描述][e7cff9be434d48529d8795edbea1b5c2.png]  
记得开放端口

#查看进程，启动失败控制台不会报错，只能去看日志
     ps -ef|grep efak

遇到情况：内存不足。最少2个G内存  
![在这里插入图片描述][cb44b4b248a14464bc3fab408ca7c44c.png]

### 容器编排启动时，Kafka命令行操作报错 ###

![在这里插入图片描述][7f09bd9901a8470cafd9eb8052507378.png]  
进入/opt/kafka\_2.13-2.8.1/bin

> 加一句

ISKAFKASERVER="false"
    if [[ "$*" =~ "kafka.Kafka" ]]; then
        ISKAFKASERVER="true"
    fi

> 改动这一行

if [  $JMX_PORT ] && [ -z "$ISKAFKASERVER" ]; then

![在这里插入图片描述][397578f3654d4693a63e40a9afc41753.png]

[参考1][1]  
[参考2][2]

[Docker]: https://blog.csdn.net/weixin_43847283/article/details/122485428
[Docker_mysql]: https://blog.csdn.net/weixin_43847283/article/details/122585113
[7a08591ea1934efb978bf1137bced6fe.png]: https://img-blog.csdnimg.cn/7a08591ea1934efb978bf1137bced6fe.png
[docker-compose]: https://blog.csdn.net/weixin_43847283/article/details/122623124
[a455279652d3433f9b8b528ab9114bc0.png]: https://img-blog.csdnimg.cn/a455279652d3433f9b8b528ab9114bc0.png
[0eb40e7eddfc49a9996c866242d4bbcf.png]: https://img-blog.csdnimg.cn/0eb40e7eddfc49a9996c866242d4bbcf.png
[Link 1]: https://www.kafka-eagle.org/
[e7cff9be434d48529d8795edbea1b5c2.png]: https://img-blog.csdnimg.cn/e7cff9be434d48529d8795edbea1b5c2.png
[cb44b4b248a14464bc3fab408ca7c44c.png]: https://img-blog.csdnimg.cn/cb44b4b248a14464bc3fab408ca7c44c.png
[7f09bd9901a8470cafd9eb8052507378.png]: https://img-blog.csdnimg.cn/7f09bd9901a8470cafd9eb8052507378.png
[397578f3654d4693a63e40a9afc41753.png]: https://img-blog.csdnimg.cn/397578f3654d4693a63e40a9afc41753.png
[1]: https://www.cnblogs.com/linjiqin/p/11891776.html
[2]: https://blog.csdn.net/yan88888888888888888/article/details/105974856