部署kafka kafka的service容器和zookeeper kafka客户端 Elasticsearch的客户端

古城微笑少年丶 2023-01-06 13:58 175阅读 0赞

创建network  
docker network create -d overlay --attachable loc\_net  
   
docker stack up -c  kafka.yml kafka  
docker stack up -c kafdrop.yml kafdrop  
docker stack up -c els.yml els  
   
docker stack ls  
docker service ls

查看service的启动错误原因  
docker service ps dd16mk9bm8ne --no-trunc

进入 kafka  
docker exec -it f907a4994f28 /bin/bash  
生产消息：  ip不好用  腾讯的垃圾服务器  
kafka-console-producer --broker-list 122.51.187.132:9092 --topic test1      \#ctrl+z退出  
kafka-console-producer --broker-list kafka:9092 --topic testqqq      \#ctrl+z退出  
消费消息：  
kafka-console-consumer --bootstrap-server kafka/ip:9092 --topic test1222 --from-beginning  
kafka-console-consumer --bootstrap-server 122.51.187.132:9092 --topic test1 --from-beginning   
kafka-console-consumer --bootstrap-server kafka:9092 --topic testqqq --from-beginning

kafka的service容器和zookeeper  
kafka.yml  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
version: "3"

services:  
  zk:  
    image: zookeeper:3.4.9  
    hostname: zk  
    ports:  
      - "2181:2181"  
    \#environment:  
    \#    ZOO\_MY\_ID: 1  
    \#    ZOO\_PORT: 2181  
    \#    ZOO\_SERVERS: server.1=zk:2888:3888  
    volumes:  
      - /data/zk/data/:/data  
      - /data/zk/log:/datalog  
    \#network\_mode: bridge  
    networks:  
      - loc\_net

kafka:  
    image: confluentinc/cp-kafka:5.1.0  
    \#hostname: kafka  
    ports:  
      - "19092:19092"  
      - "9092:9092"  
    environment:  
      KAFKA\_ADVERTISED\_LISTENERS: LISTENER\_DOCKER\_INTERNAL://kafka:19092,LISTENER\_DOCKER\_EXTERNAL://122.51.187.132:9092  
      KAFKA\_LISTENER\_SECURITY\_PROTOCOL\_MAP: LISTENER\_DOCKER\_INTERNAL:PLAINTEXT,LISTENER\_DOCKER\_EXTERNAL:PLAINTEXT  
      KAFKA\_INTER\_BROKER\_LISTENER\_NAME: LISTENER\_DOCKER\_INTERNAL  
      KAFKA\_ZOOKEEPER\_CONNECT: "zk:2181"  
      KAFKA\_BROKER\_ID: 1  
      KAFKA\_LOG4J\_LOGGERS: "kafka.controller=INFO,kafka.producer.async.DefaultEventHandler=INFO,state.change.logger=INFO"  
      KAFKA\_OFFSETS\_TOPIC\_REPLICATION\_FACTOR: 1  
      KAFKA\_HEAP\_OPTS: "-Xmx256M -Xms128M"  
    \#volumes:  
    \#  - /data/kafka/data:/var/lib/kafka/data  
    \#depends\_on:  
    \#  - zk  
    \#network\_mode: bridge  
    networks:  
      - loc\_net

networks:  
    loc\_net:  
      external: true  
      \#driver: overlay

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

kafka客户端  可以不用进入容器看到消息  
http://122.51.187.132:9000/topic/testqqq  
kafdrop.yml  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

version: "3"  
services:  
  kafdrop:  
    image: obsidiandynamics/kafdrop  
    restart: "no"  
    ports:  
      - "9000:9000"  
    environment:  
      KAFKA\_BROKERCONNECT: "122.51.187.132:9092"

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

Elasticsearch  的客户端  可以连接指定ip的 elasticsearch  
http://122.51.187.132:9800/  
   
els.yml  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
version: '3'  
services:  
  elastichd:  
    image: containerize/elastichd:latest  
    ports:  
      - "9800:9800"  
\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*