Kafka 生产消费 Avro 序列化数据

朴灿烈づ我的快乐病毒、 2022-07-11 05:55 261阅读 0赞

![kafka-logo-150x150.png][]

本文实践了如何连接 Kafka 生产和消费 Avro 序列化格式的数据, 不能像 NgAgo-gDNA 那样, 为保证实验内容及结果的可重复性, 文中所用的各中间件和组件版本如下:

1.  Apache Kafka: [kafka\_2.11-0.10.0.1][kafka_2.11-0.10.0.1], 这个版本在初始始化生产者消费者的属性与之前版本有所不同.
2.  kafka-clients: Java API 客户端, 版本为  0.10.0.1
3.  Apache Avro: 1.8.1. 关于 Avro 序列化的内容可参见 [Apache Avro 序列化与反序列化 (Java 实现)][Apache Avro _ _Java]
4.  Java 8

Apache Kafka 消息系统设计为可以传输字符串, 二进制等数据, 但直接用于传输生产消费两端都能理解的对象数据会更友好.  所以我们这里用 Avro 的 Schema  来定义要传输的数据格式, 通信时采用自定义的序列化和反序列化类进行对象与字节数组间的转换.

以下是整个实验过程

### 本地启动 Apache Kafka 服务 ###

请参考 [简单搭建 Apache Kafka 分布式消息系统][Apache Kafka] 启动 ZooKeeper 和 Kafka 即可. 程序运行会自动创建相应的主题. 启动后 Kafka 开启了本地的 9092 端口, 程序中只需要连接这个端口, 不用管 ZooKeeper 的  2181 端口. [阅读全文 >>][Link 1]

[kafka-logo-150x150.png]: http://unmi.cc/wp-content/uploads/2016/10/kafka-logo-150x150.png
[kafka_2.11-0.10.0.1]: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz
[Apache Avro _ _Java]: https://yanbin.blog/apache-avro-serializing-deserializing/
[Apache Kafka]: https://yanbin.blog/initial-apache-kafka-environment/
[Link 1]: https://yanbin.blog/kafka-produce-consume-avro-data/#more-7496

发表评论取消回复

表情：

评论列表（有 0 条评论，261人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink 消费kafka 序列化

天测试今天尝试了flink从kafka获取数据的测试程序编写，主要测试的kafka发送json的接收例子，尝试了几个kafka的DeserializationSchema...

r囧r小猫/ 2024年04月18日 15:50/ 0 赞/ 85 阅读

相关 kafka 客户端使用Avro序列化

Avro是一种与编程语言无关的序列化格式 > 丰富的数据结构 > 紧凑快速的二进制数据格式 > 提供容器文件，用来持久化数据 > 远程过程调用 > 与动态语言

た入场券/ 2023年10月12日 08:36/ 0 赞/ 110 阅读

相关 java生产消费kafka消息

maven依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactI

我会带着你远行/ 2023年09月27日 09:08/ 0 赞/ 128 阅读

相关各个序列化框架（Java序列化、Avro 序列化、Kyro）

Java 序列化 Java 提供了一种对象序列化的机制，该机制中，一个对象可以被表示为一个字节序列，该字节序列包括该对象的数据、有关对象的类型的信息和存储在对象中数据的

灰太狼/ 2023年06月11日 12:27/ 0 赞/ 360 阅读

相关 kafka生产消费验证

1. 进入kafka的bin目录 2. 产生消息 ./kafka-console-producer.sh --broker-list 192.168.52.221:909

浅浅的花香味﹌/ 2022年09月13日 15:15/ 0 赞/ 186 阅读

相关 Kafka 生产消费 Avro 序列化数据

![kafka-logo-150x150.png][] 本文实践了如何连接 Kafka 生产和消费 Avro 序列化格式的数据, 不能像 NgAgo-gDNA 那样, 为保证

朴灿烈づ我的快乐病毒、/ 2022年07月11日 05:55/ 0 赞/ 262 阅读

相关 Kafka 生产消费实例

环境准备创建topic 命令行模式执行生产者消费者实例客户端模式

淩亂°似流年/ 2022年06月14日 06:41/ 0 赞/ 177 阅读

相关 python kafka生产与消费

消费者： from kafka import KafkaConsumer consumer=KafkaConsumer(bootstrap\_serve

红太狼/ 2022年05月26日 12:21/ 0 赞/ 230 阅读

相关 avro序列化实例

hadoop中，就是用的avro作为序列化的，现在按照官方文档，我们按照如下步骤来做这个实例。 1. 构建maven工程，加入apache-avro依赖库，以及插件依赖。

左手的ㄟ右手/ 2022年04月03日 11:06/ 0 赞/ 335 阅读

相关 Avro远程过程调用和数据序列化

一、概述 Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列

悠悠/ 2022年03月09日 08:18/ 0 赞/ 267 阅读