Ceph分布式存储系统架构研究综述

灰太狼 2022-10-12 05:43 234阅读 0赞

![图片][425107cf512821bd3ad71ec28289fabd.png]

![图片][7febf7e122189fc0f44196feaf4dfdfd.gif]

Ceph项目是加州大学圣克鲁兹分校的 Weil于2006年开发的。当时他发现元数据的查询和维护严重影响了 Lustre等分布式文件系统的性能和扩展性，因此设计了一种利用算法来确定数据与存储节点对应关系的方法 CRUSH。2015年5月发布的 Linux内核2.6.34已开始支持Ceph。Weil也成立了IntTank公司，专注于Ceph的开发。2014年5月，该公司被 RedHat收购。Ceph同时支持３种存储访问接口,因此被广泛应用于开源私有云计算平台中，为云计算平台提供虚拟机存储和对象访问能力。

Ceph开源后，大量公司和开发者投入精力去开发其新特 性和功能。表１列出了自开源以来 Ceph 的重要版本更新，它以字母为顺序对重要的发行版本排序。

![图片][5ffabf3c3cbecf845289ec76a9733a40.png]

Ceph存储系统的设计目标是提供高性能、高可扩展性、 高可用的分布式存储服务。它采用 RADOS在动态变化和异构的存储设 备集群上，提供了一种稳定、可扩展、高性能的单一逻辑对象 存储接口和能够实现节点自适应和自管理的存储系统。数据的放置采取 CRUSH 算法，客户端根据算法确定对象的位置并直接访问存储节点，不需要访 问元数据服务器。CRUSH算法具有更好的扩展性和性能。本文介绍Ceph 的集群架构、数据放置方法以及数据读写路径，并在此基础上分析其性能特点和瓶颈。

**集群架构**

RADOS可提供高可靠、高性能和全分布式的对象存储 服务。对象的分布可以基于集群中各节点的实时状态,也可以自定义故障域来调整数据分布。块设备和文件都被抽象包装为对象，对象则是兼具安全和强一致性语义的抽象数据类型，因此 RADOS可在大规模异构存储集群中实现动态数据 与负载均衡。

对象存储设备(OSD)是 RADOS 集群的基本存储单元，它的主要功能是存储、备份、恢复数据，并与其他 OSD之间进行负载均衡和心跳检查等。一块硬盘 通常对应一个 OSD,由 OSD对硬盘存储进行管理,但有时一 个分区也可以成为一个 OSD，每个 OSD皆可提供完备和具有强一致性语义的本地对象存储服务。MDS是元数据服务器，向外提供 CephFS在服务时发出的处理元 数据的请求，将客户端对文件的请求转换为对对象的请求。RADOS中可以有多个 MDS分担元数据查询的工作。

![图片][950492c3bdb44baba12bd955e501cf45.png]

**数据放置算法**

RADOS取得高可扩展性的关键在于彻底抛弃了传统存 储系统中的中心元数据节点，另辟蹊径地以基于可扩展哈希 的受控副本分布算法——CRUSH 来代替.通过 CRUSH 算法，客户端可以计算出所要访问的对象所在的 OSD。

与以往 的方法相比，CRUSH 的数据管理机制更好，它把工作分配给 集群内的所有客户端和 OSD 来处理,因此具有极大的伸缩性。CRUSH 用智能数据复制来确保弹性，更能适应超大规模存储。如图所示，从文件到对象以及PG(Placement Group)都 是逻辑上的映射，从PG到OSD的映射采用CRUSH 算法，以保证在增删集群节点时能找到对应的数据位置。

![图片][f46fd8db8f34301f4e14ef73c6c232d2.png]

根据Weil的研究，CRUSH算法具有相当好的可扩展性，在数千个 OSD的情况下仍然能保证良好的负载平衡。但这更多的是理论层面上，目前还没有研究人员给出在数 PB 规模的生产环境中的测试结果。

CRUSH算法是Ceph最 初 的 两 大 创 新 之 一，也是整个RADOS的基石。CRUSH在一致性哈希的基础上很好地考虑了容灾域的隔离,能够实现各类负载的副本放置规则，例如 跨机房、机架感知等。同时，CRUSH 算法支持多副本和纠删码这两种数据冗余方式，还提供了４种不同类型的 Bucket (Uniform、List、Tree、Straw)，充分考虑了实际生产过程中硬 件的迭代式部署方式。

CRUSH 虽然提供了快速数据定位方法,但也有一定的缺陷。首先，在选择OSD 时会出现权重失衡的情况，即低权重的OSD虽然在实际中可用，但是与其他复制节点相差较大且需二次哈希；其次，在增删OSD时会有数据的额外迁移；最后，完全依赖哈希的随机性可能会导致OSD的容量使用率不均衡，在实际环境中出现过超过40％的差异。因此，从2017年发布的Luminous版本起，Ceph提供了被称为upmap的新机制，用于手动指定PG的分布位置来达到均衡数据的效果。

**统一访问接口**

RADOS提供了分布式对象存储能力，并在此基础上扩展了块存储和文件存储功能。RADOS中单个对象的大小根据配置文件指定（一般为４M）。LIBRADOS提供的库可以访问任意对象的内容。RGW提供了一个基于Bucket的对象存储服务。RGW提供的服务兼 容AWS(Amazon WebServices)的S3 以及Openstack的Swift。RGW的对象可大于４M，当其大小超过４M时，RGW会将该对象分为首对象和多个数据对象。

![图片][0de16173a717686892821b653d3d35ac.png]

块存储接口提供类似磁盘的连续字节序列的存储能力，这是存储数据应用最广泛的形式。磁盘阵列、存储区域网络、iSCSI都可以提供块存储功能。Ceph的块存储利用 RADOS 功能,支持复制、快照、一致性和高可用等特性。块设备是精 简配置的，并且可调整大小。Ceph的RBD可使用内核模块或librbd与OSD进行交互。RBD设备默认在名为rbd的资源池中。每个rbd在创建后会生成一个 名为rbdName。

文件系统接口是通过 CephFS实现的。CephFS文件系 统中的数据(文件内容)和元数据(目录、文件)都以对象的形 式被保存在 OSD上。客户端可以使用ceph fuse挂载为应用 层模式或者使用内核的mount ceph挂载为内核模式。两种模式都是与 MDS通信，以获得文件系统的目录结构信息，并访问对应的OSD。CephFS的元数据也被保存在对象中，其对象的前缀为msd\_，保存的内容包括文件系统的索引节点、元数据日志和快照等。MDS在启动时会读取文件系统元数据对象并将其缓存在内存中，客户端需要与之通信以查询 或更新元数据信息。

Ceph是一个通用的分布式文件系 统,适 用 于 不 同 的 场 景.内部机制的优化对所有的场景都会产生性能的提升，但是优化的难度和复杂度也最高。

在分布式存储系统中，数据被分散在大量的存储服务器上，大部分分布式存储系统都直接使用本地文件系统来存储 数据，如HDFS，Lustre等。 高性能、高可靠的分布式存储系统离不开高效、一致、稳定、可靠的本地文件系统。本地文件系统的代码已经过长时间的测试和性能优化，对于数据持久化和空间管理也有相应的方案。文件系统提供了 POSIX接口，通过这个接口，分布式文件系统可以切换不同的本地文件系统。

Ceph早期的版本采用将对象存储在本地文件系统的存储后端的方式，该方式被称为 FileStore。FileStore通过POSIX接口将对象和对象属性放在本地文件系统上，如 XFS、ext4、btrfs等。最初，对象属性被存储在POSIX扩展文件属性(xattrs)中，但当后来对象属性超出xattrs的大小或计数限制时，FileStore就在LevelDB中存放对象属性。本地文件系统不能很好地适配 Ceph的对象存储需求的原因主要包括以下几个方面。

１)数据和元数据分离不彻底，导致对象寻址慢。FileStore根据对象前缀将其放置在不同目录下，对象在进行访问时需要多次寻址，且同一目录下的文件也没有排序。

２)本地文件系统不支持对象的事务操作。FileStore为了支持写事务的特性，通过写前日志功能来保证事务的原子性。这导致了数据“双写”的问题，造成了一半磁盘性能的浪费。

３)本地文件系统也有日志等保证一致性的操作，这进一步导致了写放大。

使用本地文件系统作为后端存储的弊端导致了FileStore的性能很差。我们测试的结果表明，在三副本条件下的块存储服务写性能甚至达不到硬盘自身性能的１/３。

针对 FileStore的缺陷，Ceph社区于2015年重新开发了BlueStore。两种存储后端的逻 辑结构如图所示。BlueStore通过直接管理裸设备，缩短了IO 路径。Ceph社区设计了一个简化的文件系统 BlueFS，该文件系统绕过了本地文件系统层，解决了文件系统层次结构遍历效率低的问题。它通过使用KV索引来存储元数据，严格分离元数据和数据，提高了索引效率。这些改进解决了日志“双写”的问题，带来了较大的读写性能提升。

![图片][0f5b67a765d51ca0cef355ed29b9f72a.png]

![图片][f254d2ddaf07cb6bd6a46261e87dc9fe.png]

BlueStore的性能比 FileStore的性能在三副 本情况下提升了１倍以上，在使用纠删码的情况下性能提升 最高,可达到原本的３倍。

![图片][83c219e01d27892eb8461289d95ded5c.png]

虽然BlueStore在设计时考虑了与SSD及 NVMeSSD闪 存的适配，但其对新硬件或混合存储的支持不佳。除此之外，BlueStore的设计也存在一些问题，如数据和元数据被存储在不同的位置，元数据结构和IO逻辑都较复杂，在IO较小的情况下可能存在双写问题，同时元数据占用内存较大。

闪存盘在写入前需要将原有数据擦除。现有的NVMe设备并未记录哪些地址在写入前需要被擦除，因此导致设备内部的垃圾回收效率低下。原则上，异步的垃圾回收可以提高写入效率，若不修改磁盘布局则垃圾回收的粒度较小，但 是实际上该操作在设备和中间层实现的效果并不佳。针对闪存盘的特点，Ceph社区提出了一种新的磁盘布局方式 SeaStore，该布局在较高层次的驱动上进行垃圾回收。其基本思想是将设备空间分为多个空闲段，每个段的大小为100MB 到10GB，所有数据顺序地被流式传输到设备的段上，在删除数据时仅做标记不进行垃圾回收，当段中的利用率降低至某个利用率阈值时，会将其中的数据移到另一个段中。

清理工作和写入工作混合在一起，以避免写延迟的波动。当数据全部清理完成后就丢弃整个段，设备可以擦除和回收这个段。SeaStore主要应用于NVMe设备，使用 SeaStore框架进行基于未来规划模型的编程方式来实现 run-to-completion模型，当其与SPDK 和 DPDK结合使用时，可以在网络消息层实现读写路径上的零(最小)拷贝。目前该 存储引擎还在开发中，性能提升效果尚不明确。

国内的深信服公司设计了一个基于 SPDK的用户态本地存储引擎——PFStore来满足高性能分布式存储的需求，对数据使用追加写的方式,将元数据修改增量写入日志，在后 期定时刷盘时再把数据写入RocksDB中。另外，该引擎启动多个实例来分别管理SSD的不同分区，启动多个 OSD来提升性能的方法。

近几年，随着Openchannel SSD、３DXPoint、非易失内存、 SMR等新型硬件的成熟和市场，出现了一些针对特定硬件的存储后端优化技术，我们将在下一次内容中详细介绍面向新型硬件的优化技术。

作者：张 晓、张思蒙、石佳、董聪、李战怀

今天的内容分享完毕，深入技术细节及解决方案，请参考：

[Ceph存储系统性能调优实战][Ceph]

[Ceph技术架构、生态及特性分析(第二版)][Ceph]

[高性能计算技术、方案和行业全解(第二版)][Ceph]

[InfiniBand架构和技术实战总结(第二版)][Ceph]

[RDMA原理分析、对比和技术实现解析][Ceph]

或者获取全店资料打包，后续免费获取全店所有新增和更新。

**[全店铺技术资料打包(全)][Ceph]**

![图片][d78a46aa8b25841aa728637fc632548f.png]

**转载申明：转载**本号文章请**注明作者**和**来源**，本号发布文章若存在版权等问题，请留言联系处理，谢谢。

**推荐阅读**

更多**架构相关技术**知识总结请参考“**架构师全店铺技术资料打包**”相关电子书(**37本****技术资料打包汇总详情**可通过“**阅读原文**”获取)。

全店内容持续更新，现下单“**全店铺技术资料打包(全)**”，后续可享**全店**内容更新“**免费**”赠阅，价格仅收**198**元(原总价**350**元)。

**温馨提示：**

扫描**二维码**关注公众号，点击**阅读原文**链接获取**“****架构师技术全店资料打包汇总(全)**”电子书资料详情。

![图片][25e0145ca70c780e7781c57672014833.png]

![图片][9c09251a07042f4d7903e76700fe62ab.gif]

[425107cf512821bd3ad71ec28289fabd.png]: /images/20221005/4f8cbde9ce3c4fbea8c1a4a1c68b9b36.png
[7febf7e122189fc0f44196feaf4dfdfd.gif]: /images/20221005/2c5670086ba3460890e9f84c4b71763a.png
[5ffabf3c3cbecf845289ec76a9733a40.png]: /images/20221005/6ed7d1b1a89143698cd2bad55e5d84c9.png
[950492c3bdb44baba12bd955e501cf45.png]: /images/20221005/d1a0bc5603af4b7097ac2cc2ec417c94.png
[f46fd8db8f34301f4e14ef73c6c232d2.png]: /images/20221005/5172b3e68da34808b5ae3edd907ed542.png
[0de16173a717686892821b653d3d35ac.png]: /images/20221005/eb7fbde6431647a4addbcec6b3168191.png
[0f5b67a765d51ca0cef355ed29b9f72a.png]: /images/20221005/0a593766b3074082beaabf34feefef75.png
[f254d2ddaf07cb6bd6a46261e87dc9fe.png]: /images/20221005/416c80cec5b647748c4ebce93420e2de.png
[83c219e01d27892eb8461289d95ded5c.png]: /images/20221005/a01256c8736a4fd89cd65b29d5784927.png
[Ceph]: https://mp.weixin.qq.com/s?__biz=MzAxNzU3NjcxOA==&mid=2650729394&idx=1&sn=c9aabfdb8717bb75578e28c2790cb293&chksm=83e92dd3b49ea4c5022ba885208b1b5f1abd0e95681ce92531930cf56ecda4c5c411faacb7f2&token=111433950&lang=zh_CN
[d78a46aa8b25841aa728637fc632548f.png]: /images/20221005/09b7358014114c67bb8c8cabb34dfc42.png
[25e0145ca70c780e7781c57672014833.png]: /images/20221005/00e903eaf07448b4bbedbc1a1f4062d8.png
[9c09251a07042f4d7903e76700fe62ab.gif]: /images/20221005/32eaee0ef9c446798375b51ab03d7226.png