Kafka：提高生产者吞吐量

朴灿烈づ我的快乐病毒、 2024-03-25 21:03 74阅读 0赞

![4ea6f05ad3bc0153b26582e20c01a9a1.png][]

import org.apache.kafka.clients.producer.KafkaProducer;
    import org.apache.kafka.clients.producer.ProducerConfig;
    import org.apache.kafka.clients.producer.ProducerRecord;
    import org.apache.kafka.common.serialization.StringSerializer;
    
    import java.util.Properties;
    
    public class CustomProducerParameters {
    
        public static void main(String[] args) {
    
            // 0 配置
            Properties properties = new Properties();
    
            // 连接kafka集群
            properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.25.129:9092,192.168.25.128:9092");
    
            // 序列化
            properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
            properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
    
            // 缓冲区大小 默认32m 分区越多适当提高一般为64m
            properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);
    
            // 批次大小 默认为16k 一般写32k
            properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);
    
            // 等待时间 单位ms 默认为0，即为以来消息就向Kafka发送消息，减少延迟；一般写为5-100之间
            properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);
    
            // 压缩
            properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");
    
    
            // 1 创建生产者
            // KafkaProducer<K, V> 
            // 泛型K为key一般为String类型 泛型V为传递消息的类型，此处发送字符串用String类型
            // 下列发送数据即为 “” “hello ” 
            KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
    
            // 2 发送数据
            for (int i = 0; i < 5; i++) {
                kafkaProducer.send(new ProducerRecord<>("test","hello"+i));
            }
    
            // 3 关闭资源
            kafkaProducer.close();
        }
    }

[4ea6f05ad3bc0153b26582e20c01a9a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b29c9608374f4154997e1278b349413d.png