注意你的Ceph集群!~没有注意这一点你的集群可能会挂！

蔚落 2022-06-01 12:27 270阅读 0赞

睡梦中刚好醒来,瞅了一眼群,发现群里已经炸开了锅,各个重要系统报来宕机的噩耗。 这一晚的大雪，挺有意思。。。

Q了下运维老朋友,说是遇到了个大坑,某几台机器时间走的飞快，基本是每十秒会多出1s的速度。

可不要小看这小小的时间加速,造成的影响是Ceph的集群某几个osd节点down掉,然后早就了开头那一幕。

原因就是因为时间不同步,Ceph节点健康检测应该是失败了(推测)

他的临时办法,只能强制30s 调用一次crontab ntpupdate ,ceph恢复。

这番描述感觉挺有意思，印象中一般配置了 ntp同步，基本不需要再去频繁的配置，麻利的穿好衣服，开始搜索与linux时间相关的 page.

搜索一番感觉除了一个闰秒之坑之外，没有别的地方可以入手,系统时间速度快肯定是时钟频率快了，但是什么导致的就不得而知了。

于是要了下有问题的机器和环境配置: RHEL 7 , 然后crontab 写了临时解决方法 是10s自动 调用ntpupdate 从B机器同步时间，

使用 watch -n 1 date 命令观察 date变化,发现时间明显要快速与别的正常机器。

此外 我们发现 B机器时间要慢于实际现实世界的时间大概10分钟左右

没有更多的信息了。

抱着试试看的态度，google 了 rhel linux time 相关文章：

https://access.redhat.com/articles/15145

看完这篇文章貌似并没有什么太大相关性: 它讲述了 RHEL 是怎么处理 闰秒(可自行百度 谷歌该关键词)

对应于环境 当前RHEL 7版本， 我们除了发现闰秒，还发现官网似乎介绍了一个有别于 ntp服务的东西 叫 chrony

这个chrony干啥的， 百度谷歌发现 它其实是ntp的另一种实现，最重要的我们发现 rhel7/centos7 开始 内置了这玩意。

于是迅速检查了下该机器是否运行该服务:

service chronyd status

其配置文件默认位于 /etc/chrony.conf

内容如下:

![SouthEast][]

![SouthEast 1][]

这一看基本感觉跟 ntp 配置文件类似, 开头4个地址，查看文档我们发现，chrony有个客户端 chronyc，还有守护进程chronyd

通过　chronyc sources -v 得到如下状态:

![SouthEast 2][]

发现chrony貌似是在跟这3个地址在同步时间,but 这三个地址，我们并没有在配置文件中配置，

那么从哪里来的? 其实配置里比如配置的

server 0.rhel.pool.ntp.org iburst

这里面包含一个pool基本可以想到这是一个类似LB的地址，实际真正的地址就是上图里的这些，可以理解，chrony 会满世界的找离我们比较近的ntp服务器进行时间同步。

这台rhel7是可以联网的,所以时间是可以同步的。

我们注意到chrony的配置有一项叫 makestep:

通过注释和查阅文档我们知道:

通常，chronyd将根据需求通过减慢或加速时钟，使得系统逐步纠正所有时间偏差。在某些特定情况下，系统时钟可能会漂移过快，导致该调整过程消耗很长的时间来纠正系统时钟。该指令强制chronyd在调整期大于某个阀值时步进调整系统时钟，但只有在因为chronyd启动时间超过指定限制（可使用负值来禁用限制），没有更多时钟更新时才生效

这， 就比较接近事情的真相了

原来chrony真的去干了！ 真的去干了自动调节时钟频率来使本机时间与 配置的几个server差距最小。

然后注意到我们所说的一个情况就是，我们内网的 ntpserver 要比实际现实时间 慢10分钟；

所有的这一切几乎可以解释的通了， 本机时间慢,chrony 觉得你慢了， 得加快点，于是你的时间跑的飞快:

通过chronyc tracking命令得到如下:

![SouthEast 3][]

经过分析:

ppm：是一个相对变化量，1ppm指百万分之一，也就是相对标称频率的变化量，这个值越小越好，标准是在25ppm以内，都认为是正常现象

chrony 通过比对 和配置的ntpserver，计算出差距，然后动态控制本机系统时钟频率，根据 makestep的参数来调节(加速/减缓);最终让时间趋于 上述的server

有了这样一个东西在内网，而我们的又配置了和内网ntp 同步，内网的时间又慢了10分钟，这就是冲突所在，考虑chrony是 rhel7内置 ，我们不考虑禁用它(即使你禁用它未必管用，因为它配置的时钟频率已经生效了,所以我们该考虑怎么使用chrony,拥抱rhel7的这一变化)

其实很简单喽， 既然是ntp另一种实现,那么把配置的server 换成内网 ntpserver不就哦了？

注释掉外网ntpserver配上内网ntp，重启 chronyd service chronyd restart

再去使用chronyc相关命令，我们发现天下太平了,时间再也不那么快了。

chrony到底如何，设置系统始终频率? 我花了点时间想查看当前 sys clock frequency发现还是不特别好获得, chrony 通过计算会把当前和server的频率误差记录在 driffile文件里,上述默认配置在/var/lib/chrony/drift

然后根据代码https://github.com/mlichvar/chrony/:

![SouthEast 4][]

嗯,所有一切都解释的通了。。 集群什么的都恢复和平的模样了。注意这是 RHEL7 ,centos7可能也存在该问题

相关文档:

*  https://access.redhat.com/articles/15145
 *  http://www.techug.com/post/leap-second-cause-linux-down.html
 *  https://access.redhat.com/documentation/en-us/red\_hat\_enterprise\_linux/7/html/system\_administrators\_guide/sect-using\_chrony
 *  ![SouthEast 5][]

[SouthEast]: /images/20220601/758818afe53443589cddd1dfcbc63f27.png
[SouthEast 1]: /images/20220601/9a4e19d215094e8e83cc61af8e94aff6.png
[SouthEast 2]: /images/20220601/3d3b2494704f495f8127c6080da8546a.png
[SouthEast 3]: /images/20220601/c3b4ff1513504101901183a9bac6fb98.png
[SouthEast 4]: /images/20220601/25f53254486b49638b5d118e682a1fb0.png
[SouthEast 5]: /images/20220601/b768d421ecc34ad1a0cb8fe0f78ff235.png

发表评论取消回复

表情：

评论列表（有 0 条评论，270人围观）

还没有评论，来说两句吧...

相关阅读

相关 CEPH集群操作

集群操作高层运作高级群集操作主要包括使用ceph服务启动，停止和重新启动群集。检查集群的运行状况；以及监视运行中的集群。 [操作集群][Link 1]

野性酷女/ 2023年10月09日 13:11/ 0 赞/ 23 阅读

相关 Ceph Monitor挂了之后对集群的影响

Ceph Monitor挂了之后对集群的影响 2016-01-13 22:34:14 [瞧见风][Link 1] 阅读数 3860更多分类专栏： [Ceph][] 版权

男娘i/ 2023年10月09日 13:04/ 0 赞/ 14 阅读

相关 mongodb分片集群，你会了么

前言 mongoDB 作为非关系型数据的典型代码，使用的场景还是非常多的，所以也成了我们必备技能，但是只会简单的CURD 又有什么用呢？又怎能体现出我们价值。所以这篇文章

超、凢脫俗/ 2022年12月17日 14:59/ 0 赞/ 201 阅读

相关 Redis--集群--介绍/使用/注意事项

原文网址：[Redis--集群--介绍/使用/注意事项\_IT利刃出鞘的博客-CSDN博客][Redis--_--_IT_-CSDN] 其他网址 [Redis--集群-

╰+攻爆jí腚メ/ 2022年10月06日 14:44/ 0 赞/ 185 阅读

相关 Redis集群的几个注意事项

1. Redis集群使用CRC16对key进行hash，集群固定使用16384对hash出来的值取模。因为取模结果一定在16384之内，所以集群中的sharding（分片）实

╰半夏微凉°/ 2022年06月08日 14:11/ 0 赞/ 298 阅读

相关注意你的Ceph集群!~没有注意这一点你的集群可能会挂！

睡梦中刚好醒来,瞅了一眼群,发现群里已经炸开了锅,各个重要系统报来宕机的噩耗。这一晚的大雪，挺有意思。。。 Q了下运维老朋友,说是遇到了个大坑,某几台机器时间走的

蔚落/ 2022年06月01日 12:27/ 0 赞/ 271 阅读

相关 redis集群注意事项

Redis集群相对单机在功能上存在一些限制，在使用时做好规避。限制如下： 1）key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的 key执行批

Bertha 。/ 2022年06月01日 00:39/ 0 赞/ 324 阅读

相关注意这几点，轻轻松松配置 Nginx + Tomcat 的集群和负载均衡

顿悟源码 2019-05-28 08:36:00 Tomcat 集群是当单台服务器达到性能瓶颈，通过横向扩展的方式提高整体系统性能的有效手段。Nginx 是一个高性能的 HT

Love The Way You Lie/ 2022年01月26日 08:11/ 0 赞/ 70 阅读

相关注意这几点，轻轻松松配置 Nginx + Tomcat 的集群和负载均衡

Tomcat 集群是当单台服务器达到性能瓶颈，通过横向扩展的方式提高整体系统性能的有效手段。Nginx 是一个高性能的 HTTP 和反向代理 web 服务器，可以通过简单的配置

超、凢脫俗/ 2021年09月19日 19:04/ 0 赞/ 113 阅读

相关注意这几点，轻轻松松配置 Nginx + Tomcat 的集群和负载均衡

Tomcat 集群是当单台服务器达到性能瓶颈，通过横向扩展的方式提高整体系统性能的有效手段。Nginx 是一个高性能的 HTTP 和反向代理 web 服务器，可以通过简单的配置

淡淡的烟草味﹌/ 2021年09月19日 15:32/ 0 赞/ 84 阅读