Docker搭建Kafka

拼搏现实的明天。 2024-04-17 05:56 56阅读 0赞

下载Kafka和Zookeeper镜像文件

1，docker pull wurstmeister/kafka
    2，docker pull wurstmeister/zookeeper

先运行zk，再运行kafka

1，启动zk
    docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
    2，启动kafka
    docker run --name kafka01 \
    -p 9092:9092 \
    -e KAFKA_BROKER_ID=0 \
    -e KAFKA_ZOOKEEPER_CONNECT=192.168.91.66:2181 \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.91.66:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -d  wurstmeister/kafka

创建主题

进入到容器中:
     docker exec -it kafka01 /bin/bash
    创建主题: my_log
    /opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.91.66:2181 --replication-factor 1 --partitions 1 --topic my_log

![1179709-20190824205037965-1486573443.png][]

![1179709-20190824205121172-748594519.png][]

在项目代码我们可以进行AOP日志处理，将异常信息 发送到Kafaka 然后 Logstash订阅话题，将数据写入到ES中。

Logstash配置:  通过Logstash去订阅主题，主题要保持一致与代码，与创建的主题。

input {
      kafka {
        bootstrap_servers => "192.168.91.66:9092"
        topics => ["goods_mylog"]
      }
    }
    output {
        stdout { codec => rubydebug }
        elasticsearch {
           hosts => ["192.168.91.66:9200","192.168.91.66:9201"]
           index => "goods_mylog"
        }
    }

启动Logstash: ./bin/logstash -f  goods\_mylog.conf

[1179709-20190824205037965-1486573443.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/792362d2fd33485d952f490a4c7a99b7.png
[1179709-20190824205121172-748594519.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/64e11d4a6c1f40e483135d9496e46b64.png

发表评论取消回复

表情：

评论列表（有 0 条评论，56人围观）

还没有评论，来说两句吧...

相关阅读

相关 Docker搭建Kafka

载Kafka和Zookeeper镜像文件 1，docker pull wurstmeister/kafka 2，docker pull wurstmei...

拼搏现实的明天。/ 2024年04月17日 05:56/ 0 赞/ 57 阅读

相关 docker-compose搭建kafka集群

环境准备服务器提前安装docker以及docker-compose环境编写docker-compose.yml version: '3' se

旧城等待，/ 2023年07月22日 14:30/ 0 赞/ 11 阅读

相关 docker 搭建kafka

docker 搭建kafka > 本教程适用于快速搭建kafka 开发环境 1 下载镜像下载zookeeper > docker pull wurstm

谁践踏了优雅/ 2023年02月23日 08:51/ 0 赞/ 25 阅读

相关 docker简单搭建kafka

zookeeper不记录镜像选择安装命令行: docker search kafka ![在这里插入图片描述][watermark_type_ZmFuZ3poZ

女爷i/ 2023年02月16日 09:25/ 0 赞/ 13 阅读

相关 Docker搭建kafka集群

配置 `docker-compose.yml` version: '3' services: zookeeper: imag

约定不等于承诺〃/ 2022年12月24日 00:38/ 0 赞/ 214 阅读

相关 kafka docker搭建kafka集群

1 环境概述 192.168.38.50 zookeeper 192.168.38.51 kafka 192.168.38.52 kafka

浅浅的花香味﹌/ 2022年10月14日 14:56/ 0 赞/ 256 阅读

相关 docker简易搭建kafka

写在前面：在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：想分析一下用户行为，一遍我能设计出更好的广告位，相对用户的搜索关键字尽心统计，分析出前卫的

以你之姓@/ 2022年05月15日 10:21/ 0 赞/ 332 阅读

相关 docker 搭建kafka集群

参考 :[https://blog.csdn.net/sinat\_31908303/article/details/80447383][https_blog.csdn.net

水深无声/ 2022年05月11日 13:06/ 0 赞/ 277 阅读

相关 kafka搭建

[kafka搭建][kafka] 1、软件环境 1、linux一台或多台，大于等于2 2、已经搭建好的zookeeper集群 3、软件版本kafka\_2.11-0

Dear 丶/ 2022年04月24日 04:52/ 0 赞/ 203 阅读

相关 Docker搭建kafka和zookeeper

注：本文只安装了一个kafka服务端仅为测试用 docker的安装这里就不赘述了一、先使用命令 docker search kafka 查看kafka的安装包

客官°小女子只卖身不卖艺/ 2022年03月19日 10:15/ 0 赞/ 397 阅读