顶会论文：纠删码存储系统中的投机性部分写技术

缺乏、安全感 2023-10-18 23:02 112阅读 0赞

**本文已被**[USENIX'17年度技术大会][USENIX_17]**录用，此处为中文简译版。**

**阅读英文论文完整版请点击：**[Speculative Partial Writes in Erasure-Coded Systems][] **。**

##     ##

前言

多副本和纠删码（EC，Erasure Code）是存储系统中常见的两种数据可靠性方法。与多副本冗余不同，EC将m个原始数据块编码生成k个检验块，形成一个**EC组**，之后系统可最多容忍任意k个原始数据块或校验块损坏，都不会产生数据丢失。纠删码可将数据存储的冗余度降低50%以上，大大降低了存储成本，在许多大规模分布式存储系统中已得到实际应用。

EC给写操作带来了很大的额外开销，包括编解码计算开销和流程性开销两部分。在向量指令集SSE、AVX等的帮助下，一个现代CPU核心的EC编解码能力就可以达到几GB到十几GB每秒，远远大于存储设备的I/O吞吐率。这使得流程性开销成为EC写入性能的最重要制约因素。若一次写操作的偏移和长度没有对齐EC组，就需要部分更新涉及的EC组，因而将此类操作称为**部分写**。部分写带来了大部分的流程性开销。

处理部分写的最直接办法是将不被写的数据块读出来，跟新数据组合在一起，然后再整体编码并写入。目前Ceph、Sheepdog等系统都采用了这种办法。一种简单有效的改进是将被覆盖数据的原始值读出来，然后根据新旧数据的差值来进行增量编码，得到各个校验块的差值，并“加”到各个校验块上。这种方法可以显著减少系统总体I/O次数，然而它需要对涉及的数据块和所有校验块进行原地读写（即在同一位置进行先读后写），在没有缓存的情况下（常态），HDD需要花费8.3毫秒（7200RPM）的时间旋转一周才能完成写入请求，跟一次随机I/O的平均寻道时间相当。这样的流程极大地影响了写入效率，即便应用层面发出的是顺序写操作，最终得到的性能也跟随机写差不多。

在实际应用当中，只有写操作的偏移和长度都恰好跟EC组对齐才可以避免部分写，然而应用往往无法照顾到底层存储的实现细节和参数，所以部分写构成了写操作的主体，决定了EC存储系统的实际写性能。EC模式的部分写性能大大低于三副本写，这使得EC尚不适用于写操作较多的场合，如云硬盘。

目前业内已有许多工作对这一问题进行改进，其中最具代表性的工作是2014年发表在[FAST][]技术会议上的[“Parity Logging with Reserved Space: Towards Efficient Updates and Recovery in Erasure-coded Clustered Storage”][Parity Logging with Reserved Space_ Towards Efficient Updates and Recovery in Erasure-coded Clustered Storage]，它的核心思路是通过在校验块上记变更日志的方式来减少其上不必要的读操作，同时将随机写变成顺序追加写，以改善写入性能。然而它并不能改善原始数据块上的写流程，这构成了大多数的写操作，所以系统总体写性能改善有限。

![0?wx\_fmt=jpeg][0_wx_fmt_jpeg]

投机性部分写：原理、设计与实现

![0?wx\_fmt=jpeg][0_wx_fmt_jpeg 1]

现实当中的I/O负载也存在大块顺序的操作，这将产生整个EC组的全量写操作。对于这种操作，我们将直接计算出校验数据，并将其写入校验块，同时在变更日志中记录一个特殊操作I，表示将I之前的变更记录取消掉，因为最新的数据已经直接写到校验块内了。

根据上述原理，我们设计出如下图所示的部分写流程（以三个校验块为例）：

![0?wx\_fmt=png][0_wx_fmt_png]

我们基于美团云现有的分布式块存储系统（参见之前的博客文章“[分布式块存储系统Ursa的设计与实现][Ursa]”）将这一设计实现出来，称为**PBS**，提供强一致性保障。系统的写操作流程整体如下图所示（以两个校验块为例）：

![0?wx\_fmt=png][0_wx_fmt_png 1]

##     ##

实验

####     ####

#### **EC编解码性能** ####

我们针对EC(4,2)、EC(6,3)、EC(8,4)、EC(10,4)等多种配置测试了编解码运算性能。如下图所示，在SSE、AVX等向量运算指令集的帮助下，现代CPU的1个核心每秒就能完成5~13GB数据量的编解码工作，远远大于同时期各种外部存储设备的吞吐率，所以编解码运算已不再成为EC存储系统的瓶颈。测试中所用CPU型号为Xeon E5-2650v3 @ 2.3GHz，图中encode表示编码，decode 1和2分别表示解码1个和2个数据块。

![0?wx\_fmt=png][0_wx_fmt_png 2]

####     ####

#### **PBS部分写的性能** ####

所有的测试均在虚拟机内挂载PBS完成。我们的测试环境为3台服务器，每台配备10块硬盘，7200RPM。测试了随机写IOPS，以及随机写的延迟，来衡量部分写的性能，其中I/O大小为4KB，EC组的条带大小为16KB。测试结果分别如下图所示，其中HDD表示单块7200RPM的物理硬盘的基准性能，R3表示三副本模式，PBS-1和PBS-2分别表示PBS在投机失败（首次写）和投机成功（第二次及以后）的情况，EC表示增量编码方法，EC-PLog表示前文所述的在FAST'14技术大会发表的工作，代表了已有方法中的最好结果。

![0?wx\_fmt=png][0_wx_fmt_png 3]

![0?wx\_fmt=png][0_wx_fmt_png 4]

从结果可以看出，各种情况下的读性能大致相当，PBS-1（投机失败，小概率）比EC-PLog略低，PBS-2（投机成功，大概率）远远好于EC-PLog，甚至可以与三副本模式的性能相媲美。

####     ####

#### **故障恢复** ####

我们在内存中为日志建立了索引，因而在（故障恢复中）读取日志时可以快速定位数据偏移。如下图所示，测试结果表明日志大小对故障恢复速度的影响有限。

![0?wx\_fmt=png][0_wx_fmt_png 5]

[阅读原文][Speculative Partial Writes in Erasure-Coded Systems]

热门博客

云计算

###  ###

### [美团点评Docker容器管理平台][Docker] ###

[MGW——美团点评高性能四层负载均衡][MGW]

[分布式块存储系统Ursa的设计与实现][Ursa 1]

###  ###

美团点评

技术团队

http://tech.meituan.com

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

长按二维码关注我们

查看文章原网址可点击“阅读原文”。

更多技术博客：[美团点评技术博客][Link 1]。

PS：正文中标绿的名词均为参考链接，可点击查询。

[USENIX_17]: https://www.usenix.org/conference/atc17/program/presentation/li-huiba
[Speculative Partial Writes in Erasure-Coded Systems]: http://localhost:8088/img/ec-parix/parix.pdf
[FAST]: https://www.usenix.org/conference/fast14
[Parity Logging with Reserved Space_ Towards Efficient Updates and Recovery in Erasure-coded Clustered Storage]: https://www.usenix.org/node/179852
[0_wx_fmt_jpeg]: https://img-blog.csdnimg.cn/img_convert/1cef4c1ff75a4af446ecec29c2f82315.png
[0_wx_fmt_jpeg 1]: https://img-blog.csdnimg.cn/img_convert/fe41805b7e161d965f7fb7f136dbaf88.png
[0_wx_fmt_png]: https://img-blog.csdnimg.cn/img_convert/92e2c4df4a334a4826d3cf31343b4a27.png
[Ursa]: http://tech.meituan.com/block-store.html
[0_wx_fmt_png 1]: https://img-blog.csdnimg.cn/img_convert/32a9996c732a036731e37d2a1bbaf02e.png
[0_wx_fmt_png 2]: https://img-blog.csdnimg.cn/img_convert/da547efc7941b19c3b8cf72d8e37be88.png
[0_wx_fmt_png 3]: https://img-blog.csdnimg.cn/img_convert/252e19ca927330d7305649a746767e83.png
[0_wx_fmt_png 4]: https://img-blog.csdnimg.cn/img_convert/7ffcb66d363f51cc0b03cf5f74fb8b0a.png
[0_wx_fmt_png 5]: https://img-blog.csdnimg.cn/img_convert/68a225a912b458227266212e5353fc20.png
[Docker]: https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651746030&idx=3&sn=f0c97665bb35aca7bc054e9d230baae7&chksm=bd12b7a38a653eb5aca4ca366abee24bad89d1bfab9031e5bf859d15f38d92d6d0755beca225&mpshare=1&scene=1&srcid=051202CFaBGIuJrdOuT1ybdU&key=c63c64d431fea9c67e3d689212ec1998ba0d327cb3654cc827acc6f2e0ddfe0a2f711d4e37c1eb8083697cae54888384ff2dc4a07d3adc64828955f730f4ce0f92097fd2e88ef390627afa16d8186089&ascene=0&uin=MTMyMDgxNzM4MA%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.12.4+build%2816E195%29&version=11020201&pass_ticket=8pfgvxoYVpEONpYJhuztLMRWrtKDH5OlXD%2F0k0eXflm%2FXv9QBx7eOuiIOnh35INl
[MGW]: https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651745948&idx=3&sn=ae1f1e16579bf7094ff40240f160213b&chksm=bd12b7d18a653ec7847f63c2bc8268ce3c964772c3a0b70ed39889aff521dd8dad123777ad4a&mpshare=1&scene=1&srcid=0519bxOxpiwUhyqcZcroJwaj&key=ef7639bba70d4ed3179d4127fdc95e2b9c88a3d0df482013259e5e37a43e0096a4e1260b764accc3c34852d4c9bc3de392a71e1e128f428bbad063b70aa387f2c399ca01891839458bb79237352567f8&ascene=0&uin=MTMyMDgxNzM4MA%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.12.4+build%2816E195%29&version=11020201&pass_ticket=NxtLGZ8djDkqhEUun%2ByYnQ5SaVrHvijkJRqjDSBiK9FIDUFu6mmsgl4YWwYihQBy
[Ursa 1]: https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=403546245&idx=1&sn=1d1ff235fc0f7abea84604078a9a6d3f&mpshare=1&scene=1&srcid=0519tLZ7S4wmcqUJodLv6VS1&key=4513144c154924f312b16c14a0417a1abcabb84f5ca4454a91cb01188e6d7f883e466fe1ea9b740512ccc38ada0eb8d5a39391b204b096e54c9efefe9b36f0501aa11fa4fb1290288fd6f5a9a27aa5cc&ascene=0&uin=MTMyMDgxNzM4MA%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.12.4+build%2816E195%29&version=11020201&pass_ticket=NxtLGZ8djDkqhEUun%2ByYnQ5SaVrHvijkJRqjDSBiK9FIDUFu6mmsgl4YWwYihQBy
[640_wx_fmt_jpeg]: https://img-blog.csdnimg.cn/img_convert/766858158abb94ae42a99bcb5bb5efb5.png
[Link 1]: http://tech.meituan.com/