Linux IO磁盘原理详解

妖狐艹你老母 2023-01-08 13:26 229阅读 0赞

**这篇文件是对Linux IO磁盘原理的讲解，参考了网络上其他信息整理而成，提供给大家了解及学习参考。**

## 磁盘介绍： ##

磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：**机械磁盘**和**固态磁盘**。

**        机械磁盘**，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。机械磁盘主要由盘片和读写磁头组成，数据就存储在盘片的环状磁道中。在读写数据前，需要移动读写磁头，定位到数据所在的磁道，然后才能访问数据。

显然，如果 I/O 请求刚好连续，那就不需要磁道寻址，自然可以获得最佳性能。这其实就是我们熟悉的，连续 I/O 的工作原理。与之相对应的，当然就是随机 I/O，它需要不停地移动磁头，来定位数据位置，所以读写速度就会比较慢。

**        固态磁盘**（Solid State Disk），通常缩写为 SSD，由固态电子元器件组成。固态磁盘不需要磁道寻址，所以，不管是连续 I/O，还是随机 I/O 的性能，都比机械磁盘要好得多。

其实，无论机械磁盘，还是固态磁盘，相同磁盘的随机 I/O 都要比连续 I/O 慢很多，原因也很明显。

>  *  对机械磁盘来说，我们刚刚提到过的，由于随机 I/O 需要更多的磁头寻道和盘片旋转，它的性能自然要比连续 I/O 慢。
>  *  而对固态磁盘来说，虽然它的随机性能比机械硬盘好很多，但同样存在“***先擦除再写入***”的限制。随机读写会导致大量的垃圾回收，所以相对应的，随机 I/O 的性能比起连续 I/O 来，也还是差了很多。
>  *  此外，连续 I/O 还可以通过***预读***的方式，来减少 I/O 请求的次数，这也是其性能优异的一个原因。很多性能优化的方案，也都会从这个角度出发，来优化 I/O 性能。

此外，机械磁盘和固态磁盘还分别有一个最小的读写单位。

>  *  机械磁盘的最小读写单位是扇区，一般大小为 512 字节。
>  *  而固态磁盘的最小读写单位是页，通常大小是 4KB、8KB 等。

如果每次都读写 512 字节这么小的单位的话，效率很低。所以，文件系统会把连续的扇区或页，组成逻辑块，然后以逻辑块作为最小单元来管理数据。常见的逻辑块的大小是 4KB，也就是说，连续 8 个扇区，或者单独的一个页，都可以组成一个逻辑块。

除了可以按照存储介质来分类，另一个常见的分类方法，是按照接口来分类，比如可以把硬盘分为 IDE（Integrated Drive Electronics）、SCSI（Small Computer System Interface） 、SAS（Serial Attached SCSI） 、SATA（Serial ATA） 、FC（Fibre Channel） 等。

不同的接口，往往分配不同的设备名称。比如， IDE 设备会分配一个 hd 前缀的设备名，SCSI 和 SATA 设备会分配一个 sd 前缀的设备名。如果是多块同类型的磁盘，就会按照 a、b、c 等的字母顺序来编号。

除了磁盘本身的分类外，当你把磁盘接入服务器后，按照不同的使用方式，又可以把它们划分为多种不同的架构。

最简单的，就是直接作为独立磁盘设备来使用。这些磁盘，往往还会根据需要，划分为不同的逻辑分区，每个分区再用数字编号。比如 /dev/sda ，还可以分成两个分区 /dev/sda1 和 /dev/sda2。

![2020050812044796.png][]

另一个比较常用的架构，是把多块磁盘组合成一个逻辑磁盘，构成冗余独立磁盘阵列，也就是 RAID（Redundant Array of Independent Disks），从而可以提高数据访问的性能，并且增强数据存储的可靠性。

根据容量、性能和可靠性需求的不同，RAID 一般可以划分为多个级别，如 RAID0、RAID1、RAID5、RAID10 等。

>  *  RAID0 有最优的读写性能，但不提供数据冗余的功能。
>  *  而其他级别的 RAID，在提供数据冗余的基础上，对读写性能也有一定程度的优化。具体大家自行百度吧，这里不再详细介绍。

最后一种架构，是把这些磁盘组合成一个网络存储集群，再通过 NFS、SMB、iSCSI 等网络存储协议，暴露给服务器使用。

其实在 Linux 中，**磁盘实际上是作为一个块设备来管理的**，也就是以块为单位读写数据，并且支持随机读写。每个块设备都会被赋予两个设备号，分别是主、次设备号。主设备号用在驱动程序中，用来区分设备类型；而次设备号则是用来给多个同类设备编号。

# 查看IO状态iostat #

iostat 是最常用的磁盘 I/O 性能观测工具，它提供了每个磁盘的使用率、IOPS、吞吐量等各种常见的性能指标，当然，这些指标实际上来自 /proc/diskstats。

在IO问题排查中，有时候用到iostat -x这命令，详细示例如下：  
![这里写图片描述][format_png]  
        可以看到%idle（%idle小于70%说明IO压力已经比较大了）和%util的值都处于非正常状态。

从这里你可以看到，iostat 提供了非常丰富的性能指标。

## avg-cpu说明： ##

%user：在用户级别运行所使用的CPU的百分比。  
%nice：带nice值（和进程优先级相关）的用户模式下运行所使用的CPU的百分比。  
%system：在系统级别运行所使用CPU的百分比。  
%iowait：CPU等待IO完成的时间百分比。（单个iowait指标值偏高并不能说明磁盘存在IO瓶颈，下面会有详述。）  
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间的百分比。  
%idle：CPU空闲时间的百分比。（idle值高，表示CPU较空闲。）

## device说明： ##

第一列的 Device 表示磁盘设备的名字，其他各列指标，虽然数量较多，但是每个指标的含义都很重要。为了方便你理解，我把它们总结成了一个表格。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]

这些指标中，你要注意：

>  *  %util ，就是我们前面提到的磁盘 I/O 使用率；
>  *  r/s+ w/s ，就是 IOPS；
>  *  rkB/s+wkB/s ，就是吞吐量；
>  *  r\_await+w\_await ，就是响应时间。

在观测指标时，也别忘了结合请求的大小（ rareq-sz 和 wareq-sz）一起分析。

正常情况下svctm应该是小于await值的，而svctm的大小和磁盘性能有关，CPU、内存的负荷也会对svctm值造成影响，过多的请求也会间接的导致svctm值的增加。await值的大小一般取决于svctm的值和IO队列的长度以及IO请求模式，如果scvtm比较接近await，说明IO几乎没有等待时间；如果await远大于svctm，说明IO请求队列太长，IO响应太慢，则需要进行必要优化。  
        如果%util接近100%，说明产生的IO请求太多，IO系统已经满负荷，该磁盘可能存在瓶颈。  
        队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标，但由于 avgqu-sz 是按照单位时间的平均值，所以不能反映瞬间的 I/O 泛洪，如果avgqu-sz比较大，则说明有大量IO在等待。  
(可以看完下面一节再来回顾这段内容。)

# 相关原理 #

对于await, svctm以及%util等，光从概念上来说，比较晦涩，可以通过下图的磁盘IO流程来加深理解：

## 简要图：   ![这里写图片描述][format_png 1]     ##

## 详细图 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1][]

（图片来自 [Linux Storage Stack Diagram][] ）

磁盘IO场景

1.  用户调用标准C库进行IO操作，数据流为：应用程序buffer->C库标准IObuffer->文件系统page cache->通过具体文件系统到磁盘。
2.  用户调用文件IO，数据流为：应用程序buffer->文件系统page cache->通过具体文件系统到磁盘。
3.  用户打开文件时使用O\_DIRECT，绕过page cache直接读写磁盘。
4.  用户使用类似dd工具，并使用direct参数，绕过系统cache与文件系统直接写磁盘。

发起IO请求请的步骤简析（以最长链路为例）  
写操作：

1.  用户调用fwrite把数据写C库标准IObuffer后就返回，即写操作通常是个异步操作。
2.  数据到C库标准IObuffer后，不会立即刷新到磁盘，会将多次小数据量相邻写操作先缓存起来合并，最终调用write函数一次性写入（或者将大块数据分解多次write调用）page cache。
3.  数据到page cache后也不会立即刷新到磁盘，内核有pdflush线程在不停的检测脏页，判断是否要写回到磁盘中，如果是则发起磁盘IO请求。  
    读操作：
4.  用户调用fread到C库标准IObuffer读取数据，如果成功则返回，否则继续。
5.  到page cache读取数据，如果成功则返回，否则继续。
6.  发起IO请求，读取到数据后缓存buffer和C库标准IObuffer并返回。可以看出，读操作是同步请求。

IO请求处理

1.  通用块层根据IO请求构造一个或多个bio结构并提交给调度层。bio结构描述对一个磁盘扇区读/写操作。
2.  调度器将bio结构进行排序和合并组织成队列且确保读写操作尽可能理想：将一个或多个进程的读操作合并到一起读，将一个或多个进程的写操作合并到一起写，尽可能变随机为顺序（因为随机读写比顺序读写要慢），读必须优先满足，而写也不能等太久。

# IO调度算法 #

Linux的IO调度器有时也称之为磁盘调度器，工作机制是控制块设备的请求队列，确定队列中那些IO的优先级更高以及何时下发IO到块设备，以此来减少磁盘寻到时间，从而提高系统的吞吐量。  
目前Linux共有如下几种IO调度算法：

## NOOP算法 ##

NOOP算法的全写为No Operation。该算法实现了最最简单的FIFO队列，所有IO请求大致按照先来后到的顺序进行操作。之所以说“大致”，原因是NOOP在FIFO的基础上还做了相邻IO请求的合并，并不是完完全全按照先进先出的规则满足IO请求。  
假设有如下的io请求序列：  
100，500，101，10，56，1000  
NOOP将会按照如下顺序满足：  
100(101)，500，10，56，1000

## 2、CFQ ##

CFQ算法的全写为Completely Fair Queuing。该算法的特点是按照IO请求的地址进行排序，而不是按照先来后到的顺序来进行响应。  
假设有如下的io请求序列：  
100，500，101，10，56，1000  
CFQ将会按照如下顺序满足：  
100，101，500，1000，10，56  
        CFQ是默认的磁盘调度算法，对于通用服务器来说最好的选择。它视图均匀地分布对IO带宽的访问。CFQ为每个进程单独创建一个队列来管理该进程所产生的请求，也就是说每个进程一个队列，各队列之间的调度使用时间片来调度，以此来保证每个进程都能被很好的分配到IO带宽。IO调度器每次执行一个进程的4次请求。在传统的SAS盘上，磁盘寻道花去了绝大多数的IO响应时间。CFQ的出发点是对IO地址进行排序，以尽量少的磁盘旋转次数来满足尽可能多的IO请求。在CFQ算法下，SAS盘的吞吐量大大提高了。但是相比于NOOP的缺点是，先来的IO请求并不一定能被满足，可能会出现饿死的情况。

## 3、DEADLINE ##

DEADLINE在CFQ的基础上，解决了IO请求饿死的极端情况。除了CFQ本身具有的IO排序队列之外，DEADLINE额外分别为读IO和写IO提供了FIFO队列。读FIFO队列的最大等待时间为500ms，写FIFO队列的最大等待时间为5s。FIFO队列内的IO请求优先级要比CFQ队列中的高，而读FIFO队列的优先级又比写FIFO队列的优先级高。优先级可以表示如下：  
FIFO(Read) > FIFO(Write) > CFQ

## 4、ANTICIPATORY ##

CFQ和DEADLINE考虑的焦点在于满足零散IO请求上。对于连续的IO请求，比如顺序读，并没有做优化。为了满足随机IO和顺序IO混合的场景，Linux还支持ANTICIPATORY调度算法。ANTICIPATORY的在DEADLINE的基础上，为每个读IO都设置了6ms的等待时间窗口。如果在这6ms内OS收到了相邻位置的读IO请求，就可以立即满足。 anticipatory 算法通过增加等待时间来获得更高的性能，假设一个块设备只有一个物理查找磁头(例如一个单独的SATA硬盘)，将多个随机的小写入流合并成一个大写入流(相当于给随机读写变顺序读写)，使用这个原理来使用读取写入的延时换取最大的读取写入吞吐量.适用于大多数环境，特别是读取写入较多的环境。

不同的磁盘调度算法（以及相应的IO优化手段）对Kafka这类依赖磁盘运转的应用的影响很大，建议根据不同的业务需求来测试选择合适的磁盘调度算法（以后的文章中会有相关的测试介绍）。  
查看设备当前的IO调度器：cat /sys/block/\{DEVICE-NAME\}/queue/scheduler。其中\{DEVICE-NAME\}指的是磁盘设备的名称，即文章开头iostat -x中Device下方的vda,vdb等。  
举例：

[root@hidden ~]# cat /sys/block/vda/queue/scheduler
    noop anticipatory deadline [cfq]

修改当前的IO调度器： echo \{SCHEDULER-NAME\} > /sys/block/\{DEVICE-NAME\}/queue/scheduler。其中\{SCHEDULER-NAME\}取值为noop、anticipatory、deadline、cfq其中之一。  
举例：

[root@hidden ~]# echo noop > /sys/block/vda/queue/scheduler 
    [root@hidden ~]# cat /sys/block/vda/queue/scheduler
    [noop] anticipatory deadline cfq

以上设置重启之后会失效，如果要想重启后配置仍然生效，需要在内核启动参数中将elevator=\{SCHEDULER-NAME\}写入/boot/grub/menu.lst文件中。在修改这个文件之前最好先备份一份，然后将elevator=\{SCHEDULER-NAME\}添加到文件末尾即可。

参考：

[https://juejin.cn/post/6844903974877790222][https_juejin.cn_post_6844903974877790222]

[https://blog.csdn.net/u013256816/article/details/78945085][https_blog.csdn.net_u013256816_article_details_78945085]

[2020050812044796.png]: /images/20221119/39cdcf34f4dc4d249485acd11395de7c.png
[format_png]: /images/20221119/d0f0f07b1daa414f85c6e754c250657d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70]: /images/20221119/1ca17ff9fae346148f102ff46ee45969.png
[format_png 1]: /images/20221119/88a627530adf4c50bcf94e0e9795c7bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1]: /images/20221119/e3fced1069de4d92aa371b63d4b54126.png
[Linux Storage Stack Diagram]: https://www.thomas-krenn.com/en/wiki/Linux_Storage_Stack_Diagram
[https_juejin.cn_post_6844903974877790222]: https://juejin.cn/post/6844903974877790222
[https_blog.csdn.net_u013256816_article_details_78945085]: https://blog.csdn.net/u013256816/article/details/78945085