RHEL 8 VDO重复数据删除和压缩存储-第1章部署VDO

蔚落 2023-10-08 08:08 14阅读 0赞

**第****1****章部署****VDO**

作为系统管理员，您可以使用VDO创建重复数据删除和压缩的存储池。

**1.1****。****VDO****简介**

虚拟数据优化器（VDO）以重复数据删除，压缩和精简配置的形式为Linux提供了内联数据缩减。设置VDO卷时，可以指定要在其上构造VDO卷的块设备以及计划提供的逻辑存储量。

*  当托管活动的虚拟机或容器时，红帽建议以10：1的逻辑与物理比率配置存储：即，如果您使用1 TB的物理存储，则将其表示为10 TB的逻辑存储。
 *  对于对象存储（例如Ceph提供的类型），Red Hat建议使用3：1的逻辑与物理比率：也就是说，将1 TB的物理存储表示为3 TB的逻辑存储。

无论哪种情况，您都可以将文件系统放在VDO提供的逻辑设备之上，然后直接使用它或将其用作分布式云存储体系结构的一部分。

因为VDO是精简配置的，所以文件系统和应用程序只能看到正在使用的逻辑空间，而无法知道可用的实际物理空间。应该使用脚本来监视实际的可用空间并在使用超过阈值时发出警报：例如，当VDO卷已满80％时。有关详细信息[，][Link 1]请参见[第2.2节“管理VDO卷上的可用空间”][Link 1]。

**1.2****。****VDO****部署方案**

您可以通过多种方式部署VDO，以为以下项目提供重复数据删除存储：

*  阻止和文件访问
 *  本地和远程存储

由于VDO将其重复数据删除存储作为标准Linux块设备公开，因此您可以将其与标准文件系统，iSCSI和FC目标驱动程序一起使用，或作为统一存储使用。

注意

当前不支持通过Ceph Storage进行VDO部署。

虚拟机

您可以在配置了Direct Attached Storage的KVM服务器上部署VDO。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70][]

文件系统

您可以在VDO之上创建文件系统，并使用NFS服务器或Samba将它们公开给NFS或CIFS用户。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 1][]

iSCSI目标

您可以将整个VDO存储目标作为iSCSI目标导出到远程iSCSI启动器。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 2][]

LVM

在功能更丰富的系统上，您可以使用LVM提供多个逻辑单元号（LUN），这些逻辑单元号均由相同的重复数据删除存储池支持。

在下图中，VDO目标已注册为物理卷，以便可以由LVM管理。从已删除重复数据的存储池中创建多个逻辑卷（*LV1*至*LV4*）。这样，VDO可以支持对底层重复数据删除存储池的多协议统一块或文件访问。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 3][]

重复数据删除统一存储设计使多个文件系统可以通过LVM工具共同使用同一重复数据删除域。此外，文件系统可以利用LVM快照，写时复制以及缩小或增长功能，而这一切都是在VDO之上。

加密

诸如DM Crypt之类的设备映射器（DM）机制与VDO兼容。加密VDO卷有助于确保数据安全性，并且VDO之上的任何文件系统仍将进行重复数据删除。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 4][]

重要

在VDO之上应用加密层几乎不会导致重复数据删除。加密会使重复的块有所不同，然后VDO才能对它们进行重复数据删除。

始终将加密层放在VDO之下。

**1.3****。****VDO****要求**

VDO对它的位置和您的系统资源有某些要求。

1.3.1。VDO在存储堆栈中的放置

您应将某些存储层放置在VDO下，并将其他存储层放置在VDO之上。

VDO卷是精简配置的块设备。为防止物理空间用完，请将卷放在存储的顶部，以后可以扩展。此类可扩展存储的示例是LVM卷或MD RAID阵列。

您可以在VDO之上放置厚置备层，但是在这种情况下，您不能依赖厚置备的保证。由于VDO层是精简配置的，因此精简配置的效果适用于其上方的所有层。如果不监视VDO设备，则可能会耗尽VDO上方的密集配置卷上的物理空间。

红帽推荐以下配置：

**仅在****VDO****下放置**

*  DM多路径
 *  DM地穴
 *  软件RAID（LVM或MD RAID）

**仅放置在****VDO****上方**

*  LVM缓存
 *  LVM快照
 *  LVM精简配置

**不支持** 以下配置：

*  VDO卷之上的VDO：存储→VDO→LVM→VDO
 *  LVM快照之上的VDO
 *  LVM缓存上的VDO
 *  环回设备顶部的VDO
 *  LVM精简配置之上的VDO
 *  VDO之上的加密卷：存储→VDO→DM-Crypt
 *  VDO卷上的分区
 *  VDO卷顶部的RAID（LVM RAID，MD RAID或任何其他类型）

额外资源

*  有关使用LVM堆栈VDO的更多信息，请参见“堆栈[LVM卷”][LVM]文章。

1.3.2。VDO内存要求

每个VDO卷都有两个不同的内存要求：

VDO模块

VDO需要370 MB的DRAM，此外，该卷管理的每1 TB物理存储还需要268 MB的内存。

通用重复数据删除服务（UDS）索引

UDS至少需要250 MB的DRAM，这也是重复数据删除使用的默认数量。

UDS索引所需的内存由索引类型和重复数据删除窗口的所需大小确定：

<table style="margin-left:24pt;width:489pt;"> 
 <thead> 
 <tr> 
 <td> 索引类型 </td> 
 <td> 重复数据删除窗口 </td> 
 <td> 注意 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 稠密 </td> 
 <td style="vertical-align:top;"> 每1 GB RAM 1 TB </td> 
 <td style="border-color:#d1d1d1;vertical-align:top;"> 1 GB的密集索引通常足以支持4 TB的物理存储。 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 疏 </td> 
 <td style="vertical-align:top;"> 每1 GB RAM 10 TB </td> 
 <td style="vertical-align:top;"> 1 GB的稀疏索引通常足以存储多达40 TB的物理存储。 </td> 
 </tr> 
 </tbody> 
</table>

对于VDO，建议使用UDS稀疏索引功能。它依赖于数据的时间局部性，并尝试仅将最相关的索引条目保留在内存中。使用稀疏索引，UDS可以在使用相同数量的内存的同时，保持重复数据删除窗口比使用密集型数据删除窗口大十倍。

尽管稀疏索引提供了最大的覆盖范围，但密集索引提供了更多的重复数据删除建议。对于大多数工作负载，给定相同的内存量，密集索引和稀疏索引之间的重复数据删除率差异可以忽略不计。

额外资源

*  有关UDS索引存储器要求的具体示例，请参见[第1.3.4节“按物理卷大小的VDO要求示例”][1.3.4_VDO]。

1.3.3。VDO存储空间要求

您可以将VDO卷配置为使用最多256 TB的物理存储。物理存储中只有一部分可用于存储数据。本节提供确定VDO管理卷的可用大小的计算。

VDO要求存储两种类型的VDO元数据和UDS索引：

*  第一种VDO元数据每4 GB *物理存储*使用大约1 MB的*空间*，另外每个平板额外使用1 MB的空间。
 *  第二种VDO元数据对于每1 GB *逻辑存储*消耗约1.25 MB ，四舍五入到最接近的平板。
 *  UDS索引所需的存储量取决于索引的类型和分配给该索引的RAM的数量。对于每1 GB的RAM，密集的UDS索引将使用17 GB的存储，而稀疏的UDS索引将使用170 GB的存储。

额外资源

*  有关VDO存储要求的具体示例，请参见[第1.3.4节“按物理卷大小的VDO要求示例”][1.3.4_VDO]。

1.3.4。物理卷大小对VDO要求的示例

下表根据基础物理卷的大小提供了VDO的近似系统要求。每个表列出了适合于预期部署的要求，例如主存储或备份存储。

确切的数字取决于您对VDO卷的配置。

主存储部署

在主存储情况下，UDS索引介于物理卷大小的0.01％到25％之间。

**表****1.1****。主存储的存储和内存要求**

<table style="margin-left:24pt;width:489pt;"> 
 <thead> 
 <tr> 
 <td> 物理体积大小 </td> 
 <td> RAM使用 </td> 
 <td> 磁盘使用情况 </td> 
 <td> 索引类型 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 10GB–1TB </td> 
 <td style="vertical-align:top;"> 250MB </td> 
 <td style="vertical-align:top;"> 2.5 GB </td> 
 <td style="border-color:#d1d1d1;vertical-align:top;"> 稠密 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 2–10TB </td> 
 <td style="vertical-align:top;"> 1GB </td> 
 <td style="vertical-align:top;"> 10GB </td> 
 <td style="vertical-align:top;"> 稠密 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 250MB </td> 
 <td style="vertical-align:top;"> 22GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 11–50TB </td> 
 <td style="vertical-align:top;"> 2GB </td> 
 <td style="vertical-align:top;"> 170GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 51–100TB </td> 
 <td style="vertical-align:top;"> 3GB </td> 
 <td style="vertical-align:top;"> 255GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 101–256TB </td> 
 <td style="vertical-align:top;"> 12GB </td> 
 <td style="vertical-align:top;"> 1020GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 </tbody> 
</table>

备份存储部署

在备份存储的情况下，UDS索引覆盖了备份集的大小，但不大于物理卷。如果您希望备份集或物理大小将来会增加，请将其作为索引大小。

**表****1.2****。备份存储的存储和内存要求**

<table style="margin-left:24pt;width:489pt;"> 
 <thead> 
 <tr> 
 <td> 物理体积大小 </td> 
 <td> RAM使用 </td> 
 <td> 磁盘使用情况 </td> 
 <td> 索引类型 </td> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;"> 10GB–1TB </td> 
 <td style="vertical-align:top;"> 250MB </td> 
 <td style="vertical-align:top;"> 2.5 GB </td> 
 <td style="border-color:#d1d1d1;vertical-align:top;"> 稠密 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 2–10TB </td> 
 <td style="vertical-align:top;"> 2GB </td> 
 <td style="vertical-align:top;"> 170GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 11–50TB </td> 
 <td style="vertical-align:top;"> 10GB </td> 
 <td style="vertical-align:top;"> 850GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 51–100TB </td> 
 <td style="vertical-align:top;"> 20GB </td> 
 <td style="vertical-align:top;"> 1700GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 101–256TB </td> 
 <td style="vertical-align:top;"> 26GB </td> 
 <td style="vertical-align:top;"> 3400GB </td> 
 <td style="vertical-align:top;"> 疏 </td> 
 </tr> 
 </tbody> 
</table>

**1.4****。安装****VDO**

此过程将安装创建，安装和管理VDO卷所必需的软件。

程序

*  安装vdo和kmod-kvdo软件包：

＃yum install vdo kmod-kvdo

**1.5****。创建一个****VDO****卷**

此过程在块设备上创建VDO卷。

先决条件

*  安装VDO软件。请参见[第1.4节“安装VDO”][1.4_VDO]。
 *  使用可扩展存储作为支持块设备。有关更多信息，请参见[第1.3.1节“ VDO在存储堆栈中的放置”][1.3.1_ VDO]。

程序

在以下所有步骤中，将*vdo-name*替换*为*要用于VDO卷的标识符；例如，vdo1。您必须为系统上的每个VDO实例使用不同的名称和设备。

1.  在要创建VDO卷的块设备中找到一个永久名称。有关持久名称的更多信息，请参见[第4章，*持久命名属性概述*][4]。

如果使用非永久性设备名称，则如果设备名称发生更改，则VDO将来可能无法正常启动。

1.  创建VDO卷：

1.  ＃vdo创建\\
2.  \--name = *vdo-name* \\
3.  \--device = *块设备* \\

\--vdoLogicalSize = *逻辑大小*

*   *  将*块设备*替换为要在其中创建VDO卷的块设备的永久名称。例如，/dev/disk/by-id/scsi-3600508b1001c264ad2af21e903ad031f。
     *  用VDO卷应提供的逻辑存储量替换*逻辑大小*：
        
         *  对于主动VM或容器存放，使用逻辑大小是**10**的块设备的物理尺寸倍。例如，如果您的块设备大小为1TB，请在10T此处使用。
         *  对于对象存储，使用逻辑大小是**3**的块设备的物理尺寸倍。例如，如果您的块设备大小为1TB，请在3T此处使用。
     *  如果物理块设备大于16TiB，则添加--vdoSlabSize=32G选项以将卷上的平板尺寸增加到32GiB。

在大于16TiB的块设备上使用默认平板大小2GiB会导致vdo create命令失败，并显示以下错误：

vdo：错误-vdoformat：formatVDO在'/ dev / *device* ' 上失败：VDO状态：超出了支持的最大平板数

**范例****1.1** **创建用于容器存储的****VDO**

例如，要为1TB块设备上的容器存储创建VDO卷，可以使用：

＃vdo创建\\

\--name = *vdo1* \\

\--device = */ dev / disk / by-id / scsi-3600508b1001c264ad2af21e903ad031f* \\

\--vdoLogicalSize = *10T*

重要

如果在创建VDO卷时发生故障，请删除该卷以进行清理。有关详细信息[，][Link 2]请参见[第2.11.2节“删除未成功创建的VDO卷”][Link 2]。

1.  在VDO卷上创建一个文件系统：
    
     *  对于XFS文件系统：

＃mkfs.xfs -K / dev / mapper / *vdo-name*

*   *  对于ext4文件系统：

＃mkfs.ext4 -E nodiscard / dev / mapper / *vdo-name*

1.  使用以下命令等待系统注册新设备节点：

＃udevadm解决

下一步

1.  挂载文件系统。有关详细信息[，][Link 3]请参见[第1.6节“安装VDO音量”][Link 3]。
2.  discard在VDO设备上为文件系统 启用该功能。有关详细信息[，][Link 4]请参见[第1.7节“启用周期性块丢弃”][Link 4]。

额外资源

*  该vdo(8)手册页

**1.6****。挂载****VDO****卷**

此过程可以手动或持久地在VDO卷上安装文件系统。

先决条件

*  VDO卷已在您的系统上创建。有关说明，请参见[第1.5节“创建VDO卷”][1.5_VDO]。

程序

*  要在VDO卷上手动挂载文件系统，请使用：

＃mount / dev / mapper / *vdo-name*  *挂载点*

*  要将文件系统配置为在引导时自动挂载，请在/etc/fstab文件中添加一行：
    
     *  对于XFS文件系统：

/ dev / mapper / *vdo-name*  *挂载点* xfs默认值，\_netdev，x-systemd.device-timeout = 0，x-systemd.requires = vdo.service 0 0

*   *  对于ext4文件系统：

/ dev / mapper / *vdo-name*  *挂载点* ext4默认值，\_netdev，x-systemd.device-timeout = 0，x-systemd.requires = vdo.service 0 0

**1.7****。启用定期块丢弃**

此过程使systemd计时器能够定期丢弃所有受支持的文件系统上未使用的块。

程序

*  启用并启动systemd计时器：

＃systemctl enable --now fstrim.timer

**1.8****。监控****VDO**

此过程描述了如何从VDO卷获取使用情况和效率信息。

先决条件

*  安装VDO软件。请参见[第1.4节“安装VDO”][1.4_VDO]。

程序

*  使用该vdostats实用工具获取有关VDO卷的信息：

*  ＃vdostats-人类可读
 *  
 *  设备1K块已使用可用使用％节省空间％
 *  / dev / mapper / node1osd1 926.5G 21.0G 905.5G 2％73％

/ dev / mapper / node1osd2 926.5G 28.2G 898.3G 3％64％

额外资源

*  该vdostats(8)手册页。

[Link 1]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#managing-free-space-on-vdo-volumes_maintaining-vdo
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019101113004175.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191011130041527.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191011130041539.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191011130041550.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191011130041553.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FsbHdheTI=,size_16,color_FFFFFF,t_70
[LVM]: https://access.redhat.com/articles/2106521#vdo
[1.3.4_VDO]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#examples-of-vdo-requirements-by-physical-volume-size_vdo-requirements
[1.4_VDO]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#proc_installing-vdo-deploying-vdo
[1.3.1_ VDO]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#placement-of-vdo-in-the-storage-stack_vdo-requirements
[4]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#assembly_overview-of-persistent-naming-attributes_deduplicating-and-compressing-storage
[Link 2]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#removing-an-unsuccessfully-created-vdo-volume_removing-vdo-volumes
[Link 3]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#mounting-a-vdo-volume_deploying-vdo
[Link 4]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#enabling-periodic-block-discard_deploying-vdo
[1.5_VDO]: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/deduplicating_and_compressing_storage/index#proc_creating-a-vdo-volume-deploying-vdo