Kafka学习（7）- kafka使用Java开发-3-手动提交

朱雀 2022-03-27 04:08 371阅读 0赞

**目录：**

1.  为什么要手动提交
2.  什么是手动提交

### 一.为什么要手动提交 ###

1.  问题一：已经消费的数据对于kakfa来说，会将该消费组里面的offset值进行修改。什么时候去修改的？
    
    1.  当数据被消费者拿去之后就自动提交，而不关注消费者是否成功消费，如果消费者端出现故障，就会导致此条数据没有被消费，继续运行就会导致此数据丢失
    2.  如果消费者成功消费此数据，而在提交的过程的出现故障，会导致再次发送此数据到消费者，继续运行就会到此数据重复提交
    3.  kafka没有提供一个绝对安全的方案，只提供了多种选择来供用户解决此类问题
2.  问题二：比如消费者拿到数据之后，存入到mysql数据库中。但是mysql数据库这个时候，连接不上，抛出异常。但是在处理的时候已经进行提交了，那么kafka上的offset值已经修改了，可是mysql数据库中没有数据--数据丢失  
    解决方案：可以将数据在处理完成之后，再进行提交，然后进行offset值的修改。默认情况下是自动提交，需要修改为手动提交。  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]
3.  问题三：如果在处理代码中正常处理了，但是在提交的offset请求时，没有连接到kafka或者出翔了故障，那么该次请求，是失败的。那么下次进行读取同一个分区的数据时，会从已经处理掉的offset值在进行处理一次，那么在hbase中就会产生两条一样的数据，也就是重复提交  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]

### 二.什么是手动提交 ###

如果消费者在获得数据后需要加入处理，数据处理完毕后才确认offset值的修改，怎么使用程序来控制offset的确认？很简单

1.  关闭自动确认选项  
    porps.put("enable.auto.commit","false");  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]
2.  消费者提交  
    consumer.commitSync();  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220327/87af833aab6143de8186427b1ab3dd2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220327/1b2d9abe24b6403dbe95587de8570570.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220327/18df859fb40c46cfae7913c60daf72ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220327/a9eb747aab8f4bfdbfc6b048f99ba4a5.png