kafka学习 -- 客户端Producer API学习

左手的ㄟ右手 2023-02-22 05:16 13阅读 0赞

## 写在前面 ##

这里我会总结一下，Java 项目集成中，kafka Producer 的相关API使用，以及相关注意事项

集成方式 ： spring-kafka

集成配置

spring:
      kafka:
        bootstrap-servers: 192.168.1.74:9092
    
        producer:
          retries: 3
          batch-size: 16384 # 默认 16Kb
          buffer-memory: 33554432 # 32M
          transaction-id-prefix: tx.
          key-serializer: org.apache.kafka.common.serialization.StringSerializer
          value-serializer: org.apache.kafka.common.serialization.StringSerializer

这里的几个参数需要注意

*  retries ,重试次数
 *  batch-size，batch 的大小
 *  buffer-memory，内存缓冲大小
 *  transaction-id-prefix，事务前缀

## 一、topic ##

关于 Topic 的生成、管理，也是很重要的一部分

可 包含以下

*  topic 与topic.DLT的对称管理
 *  message 的序列化与反序列化
 *  key,分区，副本
 *  异常消息转换、处理

在使用中都是要特别留意的知识点

## 二、KafkaTemplate 相关API ##

发布相关的API，send  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70]

更多API  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70 1]

## 三、相关使用 ##

### 3.1、回调函数示例 ###

@Transactional
        public void sendMessage2(String message) { 
            ListenableFuture<SendResult<String, String>> send = kafkaTemplate.send(TOPIC, message);
            send.addCallback(
                    result -> { 
                        logger.info("当前线程ID {} send {} to {} success", Thread.currentThread().getId(), message, TOPIC);
                    },
                    ex -> { 
    // serviceWithRetry();
                        logger.info("当前线程ID {} send message to {} failure,当前消息{} ,error message:{}", Thread.currentThread().getId(), TOPIC, message, ex.getMessage());
                    }
            );
        }

水平有限，这里只是简单介绍了一下，更多 Topic 监控，producer 模式，等最佳实现方式，还有待测试，总结

源码 地址 [Gitee][]

## 四、更多Kafka,，客户端、服务端，监控可参考下文 ##

*  [kafka学习 – kafka connect][kafka_ _ kafka connect]
 *  [kafka学习 – 客户端Consumer API学习][kafka_ _ _Consumer API]
 *  [kafka学习 – 客户端Producer API学习][kafka_ _ _Producer API]
 *  [kafka学习 – 服务端命令学习][kafka_ _]
 *  [Springboot集成Kafka][Springboot_Kafka]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200705182159173.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200705183526825.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTA1NjI5,size_16,color_FFFFFF,t_70
[Gitee]: http:
[kafka_ _ kafka connect]: https://blog.csdn.net/qq_42105629/article/details/107077881
[kafka_ _ _Consumer API]: https://blog.csdn.net/qq_42105629/article/details/107073062
[kafka_ _ _Producer API]: https://blog.csdn.net/qq_42105629/article/details/107072983
[kafka_ _]: https://blog.csdn.net/qq_42105629/article/details/107008616
[Springboot_Kafka]: https://blog.csdn.net/qq_42105629/article/details/100569364