kafka批量消费配置

刺骨的言语ヽ痛彻心扉 2022-09-02 11:50 173阅读 0赞

spring.kafka.bootstrap-servers=127.0.0.1:9092
    spring.kafka.consumer.group-id=order_ck_group
    spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.auto-offset-reset=earliest
    spring.kafka.consumer.enable-auto-commit=false
    #最多拉取1000条数据
    spring.kafka.consumer.max-poll-records=1000
    #最长1000毫秒
    spring.kafka.listener.type=batch
    spring.kafka.listener.idle-between-polls=1000
    spring.kafka.listener.ack-mode=manual_immediate
    #topic名称
    spring.kafka.topic=order_topic

消费者代码

@Component
    public class OrderConsumer {
    
        @KafkaListener(topics = "#{'${spring.kafka.topic}'.split(',')}")
        public void orderConsumer(List<ConsumerRecord> data, Acknowledgment acknowledgment) {
            /*Iterator<ConsumerRecord> iterator = data.iterator();
            List<JSONObject> list = new ArrayList<>();
            JSONObject jsonObject = new JSONObject();
            while (iterator.hasNext()) {
                jsonObject = JSON.parseObject(iterator.next().value().toString());
                list.add(jsonObject);
            }*/
            System.out.println(data.size());
            acknowledgment.acknowledge();
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka原理五之springboot 集成批量消费

目录前言一、新建一个maven工程，添加kafka依赖二、yaml配置文件三、消息消费手动提交非批量消费 String 类型接入使用注解方式

野性酷女/ 2024年03月16日 22:05/ 0 赞/ 20 阅读

相关 Flink Kafka consumer的消费策略配置

[Flink Kafka consumer的消费策略配置][Flink Kafka consumer] val helloStream: FlinkKafkaCo

你的名字/ 2023年05月30日 15:57/ 0 赞/ 26 阅读

相关 kafka之消费

消费者客户端使用kafkaconsumer向broker订阅topic，接收消息进行消费。kafka中消息的消费，要知晓两个紧密相关的概念：消费者consumer和消费者组co

快来打我*/ 2023年03月06日 03:29/ 0 赞/ 15 阅读

相关 Spring-Kafka —— 实现批量消费和手动提交offset

spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把ap

叁歲伎倆/ 2022年12月27日 14:00/ 0 赞/ 1081 阅读

相关 Apache Kafka-消费端_批量消费消息的核心参数及功能实现

文章目录概述参数设置 Code POM依赖配置文件生产者消费者单元测试

悠悠/ 2022年10月30日 07:23/ 0 赞/ 6 阅读

相关 kafka批量消费配置

spring.kafka.bootstrap-servers=127.0.0.1:9092 spring.kafka.consumer.group-id=ord

刺骨的言语ヽ痛彻心扉/ 2022年09月02日 11:50/ 0 赞/ 174 阅读

相关 Java开发面经分享：kafka批量消费实现

在这里分享一份 \[mybatis从入门到精通\] 的强力教程，定能够助你一臂之力。 Mybatis基本介绍 1. ORM和MyBatis 2. 对象/关系数据库映

梦里梦外;/ 2022年08月31日 06:36/ 0 赞/ 265 阅读

相关 kafka重新消费

kafka重新消费的两种方式低级API AUTO\_OFFSET\_RESET\_CONFIG 方式一：低级API public class

刺骨的言语ヽ痛彻心扉/ 2022年03月28日 04:11/ 0 赞/ 385 阅读

相关 Flink 消费 Kafka 数据批量写入 MySQL 多个表

> 业务场景： > sdk 数据统一入Kafka 的一个 topic（topic\_sdk\_log），其中包含多种事件类型数据，如：登录，注册，激活等，需要将 Kafka

你的名字/ 2021年09月24日 02:38/ 0 赞/ 859 阅读

相关 Spring整合Kafka实现批量消费和手动提交offset

spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把ap

喜欢ヅ旅行/ 2021年09月03日 07:55/ 0 赞/ 890 阅读