Linux 2.6 CFS 调度算法内幕

「爱情、让人受尽委屈。」 2022-06-04 10:19 267阅读 0赞

自 2.6.23 起提供对 CPU 的出色访问

M. Jones  
2010 年 1 月 25 日发布  
[https://www.ibm.com/developerworks/cn/linux/l-completely-fair-scheduler/index.html][https_www.ibm.com_developerworks_cn_linux_l-completely-fair-scheduler_index.html]

--------------------

Linux 调度器是一个颇有压力但很有趣的课题。一方面它涉及应用 Linux 的使用模型。尽管 Linux 最初开发为桌面操作系统环境，但现在在服务器、微型嵌入式设备、主机和超级计算机中都能发现它。 无疑，这些领域的调度负载有很大差异。另一方面，它要考虑平台方面的技术进步，包括架构（多处理、对称多线程、非一致内存访问 \[NUMA\] 和虚拟化）。 另外，这里还要考虑交互性（用户响应能力）和整体公平性之间的平衡。从这些方面很容易看出解决 Linux 中的调度问题有多难。

--------------------

### Linux 调度器简史 ###

早期的 Linux 调度器使用了最低的设计，它显然不关注具有很多处理器的大型架构，更不用说是超线程了。1.2 Linux 调度器使用了环形队列用于可运行的任务管理，使用循环调度策略。 此调度器添加和删除进程效率很高（具有保护结构的锁）。简而言之，该调度器并不复杂但是简单快捷。

Linux 版本 2.2 引入了调度类的概念，允许针对实时任务、非抢占式任务、非实时任务的调度策略。 2.2 调度器还包括对称多处理 (SMP) 支持。

2.4 内核包含了相对简单的调度器，按 O(N) 的时间间隔运行（在调度事件期间它会迭代每个任务）。2.4 调度器将时间分割成 epoch，每个 epoch 中，每个任务允许执行到其时间切片用完。如果某个任务没有使用其所有的时间切片，那么 剩余时间切片的一半将被添加到新时间切片使其在下个 epoch 中可以执行更长时间。 调度器只是迭代任务，应用 goodness 函数（指标）决定下面执行哪个任务。尽管这种方法比较简单，但是却比较低效、缺乏可扩展性而且不适合用在实时系统中。它还缺少利用新硬件架构（比如多核处理器）的能力。

早期的 2.6 调度器，叫做 O(1) 调度器，它旨在解决 2.4 调度器存在的问题 — 该调度器不需要迭代整个任务列表来确定要调度的下一个任务（因此得名 O(1)，这意味着它效率更高，扩展性更好）。O(1) 调度器跟踪运行队列中可运行的任务（实际上，每个优先级水平有两个运行队列 — 一个用于活动任务，一个用于过期任务）， 这意味着要确定接下来执行的任务，调度器只需按优先级将下一个任务从特定活动的运行队列中取出即可）。 O(1) 调度器扩展性更好而且包含交互性，提供了大量启示用于确定任务是受 I/O 限制还是受处理器限制。 但是 O(1) 调度器在内核中很笨拙。需要大量代码计算启示，难以管理并且对于纯粹主义者而言未能体现算法的本质。

为了解决 O(1) 调度器面临的问题以及应对其他外部压力， 需要改变某些东西。这种改变来自 Con Kolivas 的内核补丁，其中包括他的 Rotating Staircase Deadline Scheduler (RSDL)， 这包含了他在 staircase 调度器方面的早期工作。这些工作的成果就是一个设计简单的调度器，包含了公平性和界限内延迟。 Kolivas 的调度器吸引了很多人（并且很多人呼吁将其包含在目前的 2.6.21 主流内核中），很显然调度器的变革即将发生。 Ingo Molnar，O(1) 调度器的创造者，然后围绕 Kolivas 的一些思想开发了基于 CFS 的调度器。我们来剖析一下 CFS，从较高的层次上看看它是如何运行的。

> 进程与线程  
> Linux 通过将进程和线程调度视为一个，同时包含二者。进程可以看做是单个线程，但是进程可以包含共享一定资源（代码和/或数据）的多个线程。

--------------------

### CFS 概述 ###

CFS 背后的主要想法是维护为任务提供处理器时间方面的平衡（公平性）。这意味着应给进程分配相当数量的处理器。分给某个任务的时间失去平衡时（意味着一个或多个任务相对于其他任务而言未被给予相当数量的时间），应给失去平衡的任务分配时间，让其执行。

要实现平衡，CFS 在叫做虚拟运行时 的地方维持提供给某个任务的时间量。任务的虚拟运行时越小， 意味着任务被允许访问服务器的时间越短 — 其对处理器的需求越高。CFS 还包含睡眠公平概念以便确保那些目前没有运行的 任务（例如，等待 I/O）在其最终需要时获得相当份额的处理器。

但是与之前的 Linux 调度器不同，它没有将任务维护在运行队列中，CFS 维护了一个以时间为顺序的红黑树（参见图 1）。 红黑树 是一个树，具有很多有趣、有用的属性。首先，它是自平衡的，这意味着树上没有路径比任何其他路径长两倍以上。 第二，树上的运行按 O(log n) 时间发生（其中 n 是树中节点的数量）。这意味着您可以快速高效地插入或删除任务。

图 1. 红黑树示例  
![这里写图片描述][SouthEast]

任务存储在以时间为顺序的红黑树中（由 sched\_entity 对象表示），对处理器需求最多的任务 （最低虚拟运行时）存储在树的左侧，处理器需求最少的任务（最高虚拟运行时）存储在树的右侧。 为了公平，调度器然后选取红黑树最左端的节点调度为下一个以便保持公平性。任务通过将其运行时间添加到虚拟运行时， 说明其占用 CPU 的时间，然后如果可运行，再插回到树中。这样，树左侧的任务就被给予时间运行了，树的内容从右侧迁移到左侧以保持公平。 因此，每个可运行的任务都会追赶其他任务以维持整个可运行任务集合的执行平衡。

--------------------

### CFS 内部原理 ###

Linux 内的所有任务都由称为 task\_struct 的任务结构表示。该结构（以及其他相关内容）完整地描述了任务并包括了任务的当前状态、其堆栈、进程标识、优先级（静态和动态）等等。您可以在 ./linux/include/linux/sched.h 中找到这些内容以及相关结构。 但是因为不是所有任务都是可运行的，您在 task\_struct 中不会发现任何与 CFS 相关的字段。 相反，会创建一个名为 sched\_entity 的新结构来跟踪调度信息（参见图 2）。

图 2. 任务和红黑树的结构层次  
![这里写图片描述][SouthEast 1]

各种结构的关系如 图 2 所示。树的根通过 rb\_root 元素通过 cfs\_rq 结构（在 ./kernel/sched.c 中）引用。红黑树的叶子不包含信息，但是内部节点代表一个或多个可运行的任务。红黑树的每个节点都由 rb\_node 表示，它只包含子引用和父对象的颜色。 rb\_node 包含在 sched\_entity 结构中，该结构包含 rb\_node 引用、负载权重以及各种统计数据。最重要的是， sched\_entity 包含 vruntime（64 位字段），它表示任务运行的时间量，并作为红黑树的索引。 最后，task\_struct 位于顶端，它完整地描述任务并包含 sched\_entity 结构。

就 CFS 部分而言，调度函数非常简单。 在 ./kernel/sched.c 中，您会看到通用 schedule() 函数，它会先抢占当前运行任务（除非它通过 yield() 代码先抢占自己）。注意 CFS 没有真正的时间切片概念用于抢占，因为抢占时间是可变的。 当前运行任务（现在被抢占的任务）通过对 put\_prev\_task 调用（通过调度类）返回到红黑树。 当 schedule 函数开始确定下一个要调度的任务时，它会调用 pick\_next\_task 函数。此函数也是通用的（在 ./kernel/sched.c 中），但它会通过调度器类调用 CFS 调度器。 CFS 中的 pick\_next\_task 函数可以在 ./kernel/sched\_fair.c（称为 pick\_next\_task\_fair()）中找到。 此函数只是从红黑树中获取最左端的任务并返回相关 sched\_entity。通过此引用，一个简单的 task\_of() 调用确定返回的 task\_struct 引用。通用调度器最后为此任务提供处理器。

#### **优先级和 CFS** ####

CFS 不直接使用优先级而是将其用作允许任务执行的时间的衰减系数。 低优先级任务具有更高的衰减系数，而高优先级任务具有较低的衰减系数。 这意味着与高优先级任务相比，低优先级任务允许任务执行的时间消耗得更快。 这是一个绝妙的解决方案，可以避免维护按优先级调度的运行队列。

#### **CFS 组调度** ####

CFS 另一个有趣的地方是组调度 概念（在 2.6.24 内核中引入）。组调度是另一种为调度带来公平性的方式，尤其是在处理产生很多其他任务的任务时。 假设一个产生了很多任务的服务器要并行化进入的连接（HTTP 服务器的典型架构）。不是所有任务都会被统一公平对待， CFS 引入了组来处理这种行为。产生任务的服务器进程在整个组中（在一个层次结构中）共享它们的虚拟运行时，而单个任务维持其自己独立的虚拟运行时。这样单个任务会收到与组大致相同的调度时间。您会发现 /proc 接口用于管理进程层次结构，让您对组的形成方式有完全的控制。使用此配置，您可以跨用户、跨进程或其变体分配公平性。

--------------------

### 调度类和域 ###

与 CFS 一起引入的是调度类概念（可以回顾 图 2）。每个任务都属于一个调度类，这决定了任务将如何调度。 调度类定义一个通用函数集（通过 sched\_class），函数集定义调度器的行为。例如，每个调度器提供一种方式， 添加要调度的任务、调出要运行的下一个任务、提供给调度器等等。每个调度器类都在一对一连接的列表中彼此相连，使类可以迭代（例如， 要启用给定处理器的禁用）。一般结构如图 3 所示。注意，将任务函数加入队列或脱离队列只需从特定调度结构中加入或移除任务。 函数 pick\_next\_task 选择要执行的下一个任务（取决于调度类的具体策略）。

图 3. 调度类图形视图  
![这里写图片描述][SouthEast 2]

但是不要忘了调度类是任务结构本身的一部分（参见 图 2）。这一点简化了任务的操作，无论其调度类如何。例如， 以下函数用 ./kernel/sched.c 中的新任务抢占当前运行任务（其中 curr 定义了当前运行任务， rq 代表 CFS 红黑树而 p 是下一个要调度的任务）：

static inline void check_preempt( struct rq *rq, struct task_struct *p )
    {
      rq->curr->sched_class->check_preempt_curr( rq, p );
    }

如果此任务正使用公平调度类，则 check\_preempt\_curr() 将解析为 check\_preempt\_wakeup()。 您可以在 ./kernel/sched\_rt.c, ./kernel/sched\_fair.c 和 ./kernel/sched\_idle.c 中查看这些关系。

调度类是调度发生变化的另一个有趣的地方，但是随着调度域的增加，功能也在增加。 这些域允许您出于负载平衡和隔离的目的将一个或多个处理器按层次关系分组。 一个或多个处理器能够共享调度策略（并在其之间保持负载平衡）或实现独立的调度策略从而故意隔离任务。

--------------------

### 其他调度器 ###

继续研究调度，您将发现正在开发中的调度器将会突破性能和扩展性的界限。Con Kolivas 没有被他的 Linux 经验羁绊，他开发出了另一个 Linux 调度器，其缩写为：BFS。该调度器据说在 NUMA 系统以及移动设备上具有更好的性能， 并且被引入了 Android 操作系统的一款衍生产品中。

--------------------

### 展望 ###

对于 Linux 技术而言，惟一不变的就是永恒的变化。今天，CFS 是 2.6 Linux 调度器； 明天可能就会是另一个新的调度器或一套可以被静态或动态调用的调度器。 CFS、RSDL 以及内核背后的进程中还有很多秘密，但是多亏了 Kolivas 和 Molnar 的工作，我们在 2.6 任务调度方面达到了更高层次的公平。

--------------------

#### 相关主题 ####

[红黑树][Link 1] （平衡二叉树）是自平衡二叉树，由 Rudolf Bayer 发明。它是一种非常有用的树表示法， 能以时间复杂度进行插入、搜索和删除等操作。您可以在各种应用程序中发现红黑树，包括关联数组的构建。

任务调度是操作系统设计的一个重要方面，从桌面操作系统调度器到实时调度器和嵌入式操作系统调度器。来自 [Martin C. Rinard 操作系统讲座][Martin C. Rinard] 的文章提供了关于处理器调度话题的要点总结。

[大O符号][O] 是用于描述函数渐近行为的数学符号。此维基百科条目包含了一些重要信息以及函数类的有用列表。

您可以在 “[Linux 调度器内幕][Linux]” （developerWorks，2006 年 6 月）中了解 Linux O(1) 调度器的更多信息。

Con Kolivas 从事新的实验性的 Linux 调度器研究有一段时间了。您可以了解关于其调度器的更多信息， 包括 Staircase Process Scheduler 和 Rotating Staircase Deadline Scheduler，这些调度器最终证明公平共享调度是可以实现的。

Avinesh Kumar 对 CFS 及其他新增功能进行了介绍。了解其文章 “[使用完全公平调度程序（CFS）进行多任务处理][CFS]” （developerWorks，2008 年 1 月）。

Con Kolivas 推出的另一款调度器， [BFS 调度器][BFS] 已经作为 Linux 桌面系统以及小型移动设备的补丁提供了。 Kolivas 选择了这个缩写名（其名称无法拼读），因为他希望提醒大家注意一个事实：让调度器支持大量任务固然很好，但是也应该考虑构建在较低配置硬件上的桌面调度器。

[https_www.ibm.com_developerworks_cn_linux_l-completely-fair-scheduler_index.html]: https://www.ibm.com/developerworks/cn/linux/l-completely-fair-scheduler/index.html
[SouthEast]: /images/20220604/0f720057597e446fb0c95e5287225cc9.png
[SouthEast 1]: /images/20220604/445519d22d374fd69647e10fb2467794.png
[SouthEast 2]: /images/20220604/5b5863d315ad4c7f916bd36727a8b06a.png
[Link 1]: https://zh.wikipedia.org/wiki/%E7%BA%A2%E9%BB%91%E6%A0%91
[Martin C. Rinard]: http://williamstallings.com/Extras/OS-Notes/h6.html
[O]: http://en.wikipedia.org/wiki/Big_O_notation
[Linux]: http://www.ibm.com/developerworks/cn/linux/l-scheduler/
[CFS]: http://www.ibm.com/developerworks/cn/linux/l-cfs
[BFS]: http://en.wikipedia.org/wiki/Brain_Fuck_Scheduler