Spanner: CAP, TrueTime and Transaction

短命女 2022-06-13 13:53 97阅读 0赞

**Spanner: CAP, TrueTime and Transaction**

1.   Spanner: CAP, TrueTime and Transaction介绍

[点击打开链接][Link 1]

2.   TrueTime设计（参考资料：[点击打开链接][Link 2]）

TrueTime 是通过以下架构实现的:

![0_wx_fmt_png][]

每个 datacenter 具有若干个 time master, 另外每台设备上运行有 timeslave 进程。前者是 Spanner 的时钟来源, 大部分是配备 GPS 接收器,剩下一小部分配备原子钟(防止 GPS 的天线故障或者频率干扰, 所以也叫"末日时钟")。  
timeslave 以 30s 的间隔从 time master 同步时间。当 timeslave 需要校准 local clock 时, 从就近的 datacenter 和较远的 datacenter 的 time master 拉取时间信息, 并通过 Marzullo 算法\[5\]识别并丢弃异常的时间来源, 并将多个时间信息归并到一个统一的时间。  
TrueTime API 的直接数据来源是设备上的 local clock，所以 TrueTime 的误差来源有:  
从 time master 同步时的网络延迟, 导致的误差大概是 1ms；  
local clock 的漂移, 这个误差是时间的锯齿函数, 校准后的一瞬间是 0, 校准前的一瞬间是最大值, 范围在 0~6ms。  
所以 TrueTime 总的误差是 1~7ms, OSID12 论文表示平均是 4ms 左右。  
网络延迟导致的误差如下图所示:

![0_wx_fmt_png 1][]

local clock 漂移导致的误差, 是因为环境温度,工作电压等因素导致的。Spanner 计算这个误差时, 已经按照最坏的漂移速度(200us/s)来计算的, 真实的差距可能是 local clock 提前了, 或者是 local clock 电压不够导致落后了。  
为了保证 local clock 的漂移在 0 ~ 6ms 之内, 也就是漂移频率在 200us/s 之内, Spanner 实现了漂移频率异常的设备从集群中剔除的功能。

**Commit Wait**

利用 TrueTime, Spanner 可以保证整个分布式系统中,所有事务分配到的 timestamp 都是具有可比性的, 基于同一个参考系的。  
Spanner 在 TureTime 的基础上,还引入一个 Commit Wait 的限制，保证了External Consistency, 也就是保证了如下规律:  
如果事务 T2 在事务 T1 提交后, 才开始提交, 那么 T2 的 commit timestamp 肯定大于 T1 的 commit timestamp。  
这个限制是一个很关键的地方是, Commit Wait:  
等待 T1 的 timestamps 成为过去时, 才提交事务(也就是通知其他replica进行重放,回复ack给用户), 也就是保证事务 commit 的绝对时间大于 s, 有了 Commit Wait 之后就可以保证了 External Consistency, 证明如下:

![0_wx_fmt_png 2][]

总结：Spanner 的 TureTime API 设计非常巧妙, 保证了绝对时间一定是落在 TT.now() 返回的区间之中。基于这个保证, 使得分布在全球的 spanserver 分配的 timestamp 都是基于同一参考系, 具有可比性。 进而让 Spanner 能够感知分布式系统中的事件的先后顺序, 保证了 External Consistency。

[Link 1]: http://www.jianshu.com/p/f307bd2023f5
[Link 2]: http://chuansong.me/n/1957726751940
[0_wx_fmt_png]: /images/20220613/abe0f1692d5a4842a2f77ad4ed1a2b76.png?wx_fmt=png
[0_wx_fmt_png 1]: /images/20220613/1dd33047616141c1bc16d95346502613.png?wx_fmt=png
[0_wx_fmt_png 2]: /images/20220613/11c1cb4f82f647189e8f7d6f264dc0e6.png?wx_fmt=png