文件系统学习7——文件系统队列机制概述

红太狼 2022-03-15 15:46 487阅读 0赞

前面几小节讲述linux文件系统是如何操作IO流的，本小节讲述文件系统的队列机制，主要集中在IO调度器这一层的队列调度上。

#### 1、队列机制 ####

linux中的队列机制主要发生在IO调度器这一层，首先给出IO调度器在整个IO栈的位置，如下图所示。它位于bio块层之下，硬件驱动层之上。pagecache刷新下来的数据会合成对应的bio，同一个任务的多个bio会下发到块层，进行IO调度。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI0MTQxODk_size_16_color_FFFFFF_t_70]  
在早期的linux系统中，抽象块层的IO调度由于底层硬件只支持单队列处理模式，因此均采用的是左图的单队列IO调度，只是内部的调度方法有所不同。但由于底层存储介质的不断更新，特别是SSD的出现，多硬件队列已经极为普遍，因此linux3.13之后，内核加入了新的队列机制，称为多队列机制，其主要思想是为每个核配置一个请求队列，从而均衡多核之间的负载，并减少对请求队列的锁竞争。

多队列机制应用的相关paper：[http://kernel.dk/blk-mq.pdf][http_kernel.dk_blk-mq.pdf]

#### 2、传统单队列机制 ####

对于传统的硬件设备，由于一般是处理单通道，因此linux将此硬件实例化为一个请求队列，所有应用程序发送的IO请求将全部提交至该队列中，然后交由该队列进行相应的处理，例如合并，调度等。

**问题**：当不同的任务并发的执行，请求下发到块设备层时，由于只有一个请求队列，所有的任务在自己执行的时候都需要先去或得该请求队列的锁，执行完成后才能释放锁，这无疑导致了多个并行的应用程序在请求队列上存在锁竞争的问题，对于多通道的硬件来说是很大的性能瓶颈。  
![在这里插入图片描述][20190303201709813.png]

#### 3、多队列机制 ####

正式由于上述多队列存在锁竞争等问题，多队列被提出，其结构如下图所示：  
![在这里插入图片描述][20190303202124237.png]  
多队列的主要思想是**将单个请求队列的资源进行离散化，划分到不同的请求队列上，同时利用cpu多核的思想，不同的核处理不同的请求，从而提高并发的效率。**

多队列主要分为两种：**软件队列**和**硬件队列**  
**软件队列**：软件队列原则上可为每个cpu核配置一个处理队列，同样，在对应的每个软件队列中可进行请求调度，添加标记以及计数等功能。由于软件队列和核可以绑定，该核处理的请求可以直接发送到其对应的软件队列上，从而可避免单请求队列造成的锁竞争问题。

**硬件队列**：硬件队列主要负责与底层设备驱动的匹配，即存在多少个设备驱动，则配置对应数量的硬件队列。其将负责将来自软件队列的请求发送至驱动层。

**软硬件队列绑定**  
软硬件队列通常可以进行如下三种绑定，绑定之后，对应软队列的数据将会下发到指定的硬队列上，独立执行各自请求。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI0MTQxODk_size_16_color_FFFFFF_t_70 1]

*  **软件队列数目>硬件队列数目**：将两个或者多个软队列分配给一个硬件队列，在执行调度时，硬件队列将从所有关联的软件队列中提取请求。
 *  **软件队列数目<硬件队列数目**：顺序映射
 *  **软件队列数目=硬件队列数目**：一一映射

#### 4、单队列和多队列性能测试 ####

文献http://kernel.dk/blk-mq.pdf中给出了多队列机制的测试结果。结果如下：  
在实际测试中，基于Multi-queue的快设备层能够取得接近最优话的性能。如下图所示，其中MQ表示Multi-queue块设备层，SQ表示传统的单队列情况， Raw表示最优化的情况。系统分别取1，2，4，8 sockets系统。底层设备采取空设备模拟来消除SSD的性能对测试的干扰。在软件队列和硬件队列配置上，每个core配置一个软件队列，每个socket配置一个硬件队列。

从实验结果中，我们可以发现，MQ能够取得极大的性能提升。  
![在这里插入图片描述][20190303203358422.png]  
![在这里插入图片描述][20190303203419681.png]

#### 5、参考文献 ####

[https://blog.csdn.net/notbaron/article/details/81147591][https_blog.csdn.net_notbaron_article_details_81147591]  
[https://hyunyoung2.github.io/2016/09/14/Multi\_Queue/][https_hyunyoung2.github.io_2016_09_14_Multi_Queue]  
[https://blog.csdn.net/yedushu/article/details/82050933][https_blog.csdn.net_yedushu_article_details_82050933]  
[https://blog.csdn.net/g382112762/article/details/53221272][https_blog.csdn.net_g382112762_article_details_53221272]  
[http://kernel.dk/blk-mq.pdf][http_kernel.dk_blk-mq.pdf]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI0MTQxODk_size_16_color_FFFFFF_t_70]: /images/20220315/7cdc8dc10828466c8ea6c5a5636f15c9.png
[http_kernel.dk_blk-mq.pdf]: http://kernel.dk/blk-mq.pdf
[20190303201709813.png]: /images/20220315/b13180106d1d492e85fb3312b636e53d.png
[20190303202124237.png]: /images/20220315/96132e23e2174e5ba3ae58c44b8348e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI0MTQxODk_size_16_color_FFFFFF_t_70 1]: /images/20220315/8db6e3a2c11d4fb78915c4ee21555cb4.png
[20190303203358422.png]: /images/20220315/bcaad1f60f3945c489d0d3d7a661faab.png
[20190303203419681.png]: /images/20220315/6683f054936c4a8782ec58b778f4a406.png
[https_blog.csdn.net_notbaron_article_details_81147591]: https://blog.csdn.net/notbaron/article/details/81147591
[https_hyunyoung2.github.io_2016_09_14_Multi_Queue]: https://hyunyoung2.github.io/2016/09/14/Multi_Queue/
[https_blog.csdn.net_yedushu_article_details_82050933]: https://blog.csdn.net/yedushu/article/details/82050933
[https_blog.csdn.net_g382112762_article_details_53221272]: https://blog.csdn.net/g382112762/article/details/53221272