Minio入门系列【2】纠删码

一时失言乱红尘 2023-10-15 22:28 34阅读 0赞

## 1 纠删码 ##

Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据

### 1.1 什么叫纠删码 ###

纠删码是一种用于重建丢失或损坏数据的数学算法。

纠删码（erasure coding，EC）是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。  
![在这里插入图片描述][3c65fe23591a4459b8d96355e93cb757.png]  
Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。

### 1.2 为什么纠删码有用? ###

纠删码的工作原理和RAID或者复制不同，像RAID6可以在损失两块盘的情况下不丢数据，而Minio纠删码可以在丢失一半的盘的情况下，仍可以保证数据安全。 而且Minio纠删码是作用在对象级别，可以一次恢复一个对象，而RAID是作用在卷级别，数据恢复时间很长。 Minio对每个对象单独编码，存储服务一经部署，通常情况下是不需要更换硬盘或者修复。Minio纠删码的设计目标是为了性能和尽可能的使用硬件加速。  
![在这里插入图片描述][32fb7eddcb884d2b818cd177697e78b2.png]

### 1.3 什么是位衰减bit rot保护? ###

位衰减又被称为数据腐化Data Rot、无声数据损坏Silent Data Corruption,是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了，也没有什么错误日志。正所谓明枪易躲，暗箭难防，这种背地里犯的错比硬盘直接咔咔宕了还危险。 不过不用怕，Minio纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。

## 2 纠错码单机模式环境搭建 ##

### 2.1 创建存储文件夹 ###

这里直接在D盘下创建了四个文件夹，也可以在不同的盘符下创建。  
![在这里插入图片描述][20735672138b4b5ca1cc8de448b6af56.png]

### 2.2 启动 ###

直接在启动命名最后添加多个存贮位置就可以了。

# 设置用户名
    set MINIO_ROOT_USER=admin
    # 设置密码（8位）
    set MINIO_ROOT_PASSWORD=admin123
    # 指定启动端口(未指定默认9000)、控制台端口90001及存储位置
    minio.exe  server  --address :9000 --console-address :9001 D:\tools\minio\data01  D:\tools\minio\data02 D:\tools\minio\data03 D:\tools\minio\data04

启动命令后，控制台显示了警告信息，这里只配置了4个位置，所以两个以上损坏就会造成数据不可用。

警告：主机本地有2个以上的驱动器故障，将导致数据变得不可用。

![在这里插入图片描述][f5944343caf44df4bb3e4488230a5692.png]  
Status显示当前4个驱动器在线，0个不在线。

登录后查看控制台，也能看到当前所有驱动器的状态。

![在这里插入图片描述][b6e6d36ab8734d9c87b2a6ffadb7e7d6.png]

### 2.3 测试 ###

首先上传一张150K大小的照片。  
![在这里插入图片描述][fc40a86953c8412c86a33f9a7a46260f.png]  
查看硬盘中文件，发现这4个文件下都存在以上传文件名命名的文件夹，而不是直接的文件了，是以文件名创建文件夹，然后将文件分片为了文件块的元数据。  
![在这里插入图片描述][83df106fec894e348f41420a0cde2697.jpeg]  
然后我们删除data03和data04文件夹，然后会发现，被删除的文件夹竟然马上自动恢复了过来。然后直接删除data03和data04文件夹下的元数据：  
![在这里插入图片描述][8f58ab5780b2416b8c621da2f946c80e.jpeg]  
发现尽管删除了两份分片数据，依然可以正常下载。  
![在这里插入图片描述][ae957746b4114b15bf4228c6b9355d75.png]  
接着再删了一个元数据，发现该文件就会找不到了，说明半数以上元数据丢失，这个文件就真的找不到了。。。  
![在这里插入图片描述][e7a2e51f81084f0185f41e2dd02e5807.png]

## 3 分布式MinIO ##

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。  
![在这里插入图片描述][c301a17391b24fdfb9386c3d974e5de1.png]

### 3.1 分布式存储可靠性常用方法 ###

分布式存储，很关键的点在于数据的可靠性，即保证数据的完整，不丢失，不损坏。只有在可靠性实现的前提下，才有了追求一致性、高可用、高性能的基础。而对于在存储领域，一般对于保证数据可靠性的方法主要有两类，一类是冗余法，一类是校验法。

#### 3.1.1 冗余 ####

冗余法最简单直接，即对存储的数据进行副本备份，当数据出现丢失，损坏，即可使用备份内容进行恢复，而副本备份的多少，决定了数据可靠性的高低。这其中会有成本的考量，副本数据越多，数据越可靠，但需要的设备就越多，成本就越高。可靠性是允许丢失其中一份数据。当前已有很多分布式系统是采用此种方式实现，如Hadoop的文件系统（3个副本)，Redis的集群，MySQL的主备模式等。

#### 3.1.2 校验 ####

校验法即通过校验码的数学计算的方式，对出现丢失、损坏的数据进行校验、还原。注意，这里有两个作用，一个校验，通过对数据进行校验和( checksum )进行计算，可以检查数据是否完整，有无损坏或更改，在数据传输和保存时经常用到，如TCP协议;二是恢复还原，通过对数据结合校验码，通过数学计算，还原丢失或损坏的数据，可以在保证数据可靠的前提下，降低冗余，如单机硬盘存储中的RAID技术，纠删码(Erasure Code)技术等。MinlO采用的就是纠删码技术。

### 3.2 分布式Minio有什么好处? ###

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

#### 3.2.1 数据保护 ####

分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。

分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。

#### 3.2.2 高可用 ####

单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。

#### 3.2.3 一致性 ####

Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

[3c65fe23591a4459b8d96355e93cb757.png]: https://img-blog.csdnimg.cn/3c65fe23591a4459b8d96355e93cb757.png
[32fb7eddcb884d2b818cd177697e78b2.png]: https://img-blog.csdnimg.cn/32fb7eddcb884d2b818cd177697e78b2.png
[20735672138b4b5ca1cc8de448b6af56.png]: https://img-blog.csdnimg.cn/20735672138b4b5ca1cc8de448b6af56.png
[f5944343caf44df4bb3e4488230a5692.png]: https://img-blog.csdnimg.cn/f5944343caf44df4bb3e4488230a5692.png
[b6e6d36ab8734d9c87b2a6ffadb7e7d6.png]: https://img-blog.csdnimg.cn/b6e6d36ab8734d9c87b2a6ffadb7e7d6.png
[fc40a86953c8412c86a33f9a7a46260f.png]: https://img-blog.csdnimg.cn/fc40a86953c8412c86a33f9a7a46260f.png
[83df106fec894e348f41420a0cde2697.jpeg]: https://img-blog.csdnimg.cn/83df106fec894e348f41420a0cde2697.jpeg
[8f58ab5780b2416b8c621da2f946c80e.jpeg]: https://img-blog.csdnimg.cn/8f58ab5780b2416b8c621da2f946c80e.jpeg
[ae957746b4114b15bf4228c6b9355d75.png]: https://img-blog.csdnimg.cn/ae957746b4114b15bf4228c6b9355d75.png
[e7a2e51f81084f0185f41e2dd02e5807.png]: https://img-blog.csdnimg.cn/e7a2e51f81084f0185f41e2dd02e5807.png
[c301a17391b24fdfb9386c3d974e5de1.png]: https://img-blog.csdnimg.cn/c301a17391b24fdfb9386c3d974e5de1.png