Hbase的Hmaster高可用分布式报错probably a clock skew

曾经终败给现在 2023-03-12 07:08 60阅读 0赞

### Hmaster高可用分布式报错probably a clock skew ###

*   *  基本环境
     *  事件发生过程
     *  日志内容
     *  问题排查过程
     *  处理问题
     *  删除完成后操作
 *  格式化 ZKFC

\#事件起因：

本次生产环境事件的起因是由于为了验证当服务器时间晚于当前时间是否会对hadoop集群造成影响。实际操作，将整个集群的服务器时间修改为2050-01-01.

## 基本环境 ##

服务器5台
    hadoop1	10.212.51.10	namenode、resourcemanager、zkfc、hmaster
    hadoop2  10.212.51.11	namenode、resourcemanager、zkfc、hmaster
    hadoop3  10.212.51.12	JournalNode、datanode、NodeManager、zk、regionserver
    hadoop4  10.212.51.11	JournalNode、datanode、NodeManager、zk、regionserver
    hadoop5  10.212.51.11	JournalNode、datanode、NodeManager、zk、regionserver

## 事件发生过程 ##

\#1. 修改服务器时间  
date -s 2050-01-01  
之后将时间恢复正常现在的时间，导致hbase访问异常报错如下，此处是看的master的日志，建议所有节点的日志都查看一下。  
vim $hbasehome/log/hbase/hbase-hadoop1.log

## 日志内容 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70 1]  
第一张图提到probably a clock skew时间偏移  
第二张图红框是重点

## 问题排查过程 ##

根据日志提示可以看出是这个目录/sfdcloud/hbase/oldWALs中的文件时间戳不正确。导致平台异常，无法正常提供服务。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70 2]

## 处理问题 ##

删除oldWALs  
hdfs dfs -rmr /sfdcloud/hbase/oldWALs

## 删除完成后操作 ##

关闭hbase、hadoop、zookeeper  
重新启动整个集群，备注：胖虎当时还重置了zookeeper，如何重置zookeeper请自行查阅。下面是简单的说法。  
![在这里插入图片描述][20200515232227968.png]

# 格式化 ZKFC #

这个操作是如果将zokeeper节点数据删除了，那么就需要重新初始化。  
/opt/hadoop/bin/hdfs zkfc -formatZK

至此，由于修改了时间之后导致的hbase平台异常的问题处理完成。  
\*\*\*备注：此方式没有验证是否有丢数据的风险，有待验证。\*\*\*  
作者：一只胖胖虎

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70]: /images/20230312/a5bf47dcba2b44af98e558f8ce212475.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/649d613131c44ed3a5210ec89a50be3d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzgzNzA1MQ_size_16_color_FFFFFF_t_70 2]: /images/20230312/6e008debbd99422a815cdf1461a9f714.png
[20200515232227968.png]: /images/20230312/ee7da2b551d74a57887b355741bd9ab3.png