broker 4. HA&master slave

港控/mmm° 2022-02-16 02:25 159阅读 0赞

1）  先按照正常流程恢复ConsumeQueue
    
    为什么说先正常恢复，那么异常恢复在哪呢？当broker是异常启动时候，在异常恢复commitLog时会重新构建请到DispatchMessageService服务，来重新生成ConsumeQueue数据，
    索引以及事物消息的redolog
    
     
    
    什么是恢复ConsumeQueue, 前面不是有步骤load了ConsumeQueue吗，为什么还要恢复?
    
    前面load步骤创建了MapedFile对象建立了文件的内存映射，但是数据是否正确，现在文件写到哪了(wrotePosition),
     Flush到了什么位置(committedPosition)?恢复数据来帮我解决这些问题。
    
     
    
    每个ConsumeQueue的mapedFiles集合中，从倒数第三个文件开始恢复(为什么只恢复倒数三个文件，也许只是个经验值吧)，
    因为consumequeue的存储单元是20字节的定长数据，所以是依次分别取了
    
    Offset long类型存储了commitLog的数据偏移量
    
    Size int类型存储了在commitLog上消息大小
    
    tagcode tag的哈希值
    
    目前rocketmq判断存储的consumequeue数据是否有效的方式为判断offset>= 0 && size > 0
    
                                如果数据有效读取下20个字节判断是否有效
    
                                如果数据无效跳出循环，记录此时有效数据的偏移量processOffset
    
                                如果读到文件尾，读取下一个文件
    
                      
    
                                proccessOffset是有效数据的偏移量，获取这个值的作用什么?
    
    (1)    proccessOffset后面的数据属于脏数据，后面的文件要删除掉
    
    (2)    设置proccessOffset所在文件MapedFile的wrotePosition和commitedPosition值，值为 proccessOffset%mapedFileSize
    
    
    2）  正常恢复commitLog文件
    
    步骤跟流程恢复Consume Queue
    
    判断消息有效， 根据消息的存储格式读取消息到DispatchRequest对象，获取消息大小值msgSize
    
               大于 0  正常数据
    
               等于-1      文件读取错误 恢复结束
    
               等于0  读到文件末尾
    
    3）  异常数据恢复，OSCRASH或者JVM CRASH或者机器掉电
    
    当${user.home}\store\abort文件存在，代表异常恢复
    
    读取${user.home} \store\checkpoint获取最终一致的时间点
    
    判断最终一致的点所在的文件是哪个
    
    从最新的mapedFile开始，获取存储的一条消息在broker的生成时间，大于checkpoint时间点的放弃找前一个文件，小于等于checkpoint时间点的说明checkpoint
    在此mapedfile文件中
    
    从checkpoint所在mapedFile开始恢复数据，它的整体过程跟正常恢复commitlog类似，最重要的区别在于
    
    （1）读取消息后派送到分发消息服务DispatchMessageService中，来重建ConsumeQueue以及索引
    
    （2）根据恢复的物理offset，清除ConsumeQueue多余的数据
    
    4）  恢复TopicQueueTable=Map<topic-queueid,offset>
    
    （1）          恢复写入消息时，消费记录队列的offset
    
    （2）          恢复每个队列的最小offset
    
    5.      初始化通信层
    
    6.      初始化线程池
    
    7.      注册broker端处理器用来接收client请求后选择处理器处理
    
    8.      启动每天凌晨00:00:00统计消费量任务
    
    9.      启动定时刷消费进度任务
    
    10.  启动扫描数据被删除了的topic，offset记录也对应删除任务
    
    11.  如果namesrv地址不是指定的，而是从静态服务器取的，启动定时向静态服务器获取namesrv地址的任务
    
    12.  如果broker是master，启动任务打印slave落后master没有同步的bytes
    
    如果broker是slave，启动任务定时到mastser同步配置信息