Kafka学习（10）- kafka使用Java开发-6-log日志说明

Myth丶恋晨 2022-03-27 09:08 194阅读 0赞

**目录：**

1.  日志
    
    1.  索引文件（segment file）
    2.  数据文件（message file）

### 一.日志 ###

1.  kafak在我们指定的log.dirs目录下，会创建一些文件夹（segment（字段、段、片） file）
    
    1.  由主题名-分区名组成的文件夹。  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]
    2.  分区文件夹由两部分组成：
        
        1.  0000000000000000000.index  segment索引文件
        2.  0000000000000000000.log     数据文件  
            ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]
    3.  message文件（数据文件），会根据log的大小，进行切分。  
        日志允许序列化的追加到最后一个文件中.当文件大小达到配置的大小(默认 1G)时,会生成一个新的文件.日志中有两个配置参数: *M* 是在 OS 强制写文件到磁盘之前的消息条数, *S* 是强制写盘的秒数.这提供了一个在系统崩溃时最多丢失 *M* 条或者 *S* 秒消息的保证.
        
        1.  00000000000000778894.index
        2.  0000000000000077894.log
    4.  segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个partion的最大offset（偏移message数）。数值最大为64位long大小，19位数字字符长度，没有数字的话用0填充。
    5.  在kafka的设计中，将offset值作为了文件名的一部分  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]
2.  在kafka中因为数据是存储在本地硬盘，并没有像hdfs的那样的分布式存储，就会产生硬盘空间不足的情况
    
    1.  可以采用删除或者合并的方式进行处理
    2.  可以通过时间来删除、合并：默认7天（一般公司都是15天、30天）
    3.  可以通过字节大小、合并
        
        1.  如果是在server.properties里面设置，将在没有特殊指定参数的topic中，所有topic生效
        2.  相同的key，保存offset值最大的（最新的消息记录）  
            合并解析图：  
            ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220327/5d0781b937f741aa8df88da9b597e133.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220327/aa6f862bc4e7439aa9fdd5a4a73b0a6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: /images/20220327/0fb0495f917c4c31b6c6b742c263fbbd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220327/fe30aab2553140fcbfa878b298f5a359.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220327/ee457dd2f43748ada6a8f80f9039ea2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220327/16233f9b0e874497ac90fcbcdf79a451.png