259-虚拟内存的初步认识

你的名字 2022-10-22 06:27 11阅读 0赞

在现代操作系统中，进程之间共享使用CPU和内存，但是内存资源有限，为了更加高效地使用内存，**现代操作系统提供一个内存抽象—虚拟内存**。虚拟内存巧妙地利用内存，地址转换，磁盘文件和操作系统内核来为每一个进程提供足够大的统一的私有地址空间。  
**虚拟内存提供三个重要的能力**：1、将内存当作磁盘的缓存，在内存中只保留常用数据，必要时从内存和磁盘之间交换数据。2、简化内存管理，为每个进程提供统一的地址空间。3、保护进程的内存空间不受其他进程影响。  
**虚拟内存是计算机系统里的一个很棒的方案。它的实现对于程序员来说是透明的，但是程序员为什么需要了解它的工作机制呢？**  
1、虚拟内存的位置比较核心，它渗透到计算机系统的方方面面，比如硬件异常设计，汇编器，加载器，共享对象文件，文件和进程。2、虚拟内存功能非常强大，它能给应用程序提供创建销毁一块内存并将其映射到磁盘文件的能力，还能与其他进程共享内存。比如，你能通过读写特定内存地址来改变磁盘文件的内容，还可以在不需要copy操作的情况下，将磁盘文件的内容加载到内存里。

## 物理地址与虚拟地址 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70]  
**计算机系统的主存被组织成一个由M个连续的字节大小的单元组成的数组。**  
每字节都有一个唯一的物理地址(PA)。第一个字节的地址是0，接下来的字节地址为1，再下一个为2，依次类推。给定这种简单的结构，CPU访问内存的最自然的方就是使用物理地址。我们把这种方式称为物理寻址。图9-1展示了一个物理寻址的示例，该示例的上下文是一条加载指令，它读取从物理地址4处开始的4字字节。当CPU执行这条加载命令时，会生成一个有效物理地址，通过内存总线，把它传递给主存。主存取出从物理地址4处开始的4字字节，并将它返回给CPU，CPU会将它存放在一个寄存器里。  
早期的PC使用物理寻址，而且诸如数字信号处理器、嵌入式微控制器以及Cray超级计算机这样的系统仍然继续使用这种寻址方式。**然而，现代处理器使用的是一种称为虚拟寻址的寻址方式，如下图所示。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 1]  
使用虚拟寻址，CPU通过生成一个虚拟地址(VA)来访问主存，这个虚拟地址在被送到内存之前先转换成适当的物理地址。将一个虚拟地址转换为物理地址的任务叫做地址翻译。就像异常处理一样，地址翻译需要CPU硬件和操作系统之间的紧密合作。CPU芯片上叫做内存管理单元(MMU)的专用硬件，利用存放在主存中的查询表来动态翻译地址，该表的内容由操作系统管理。

## 地址空间 ##

**地址空间是一个非负整数地址的有序集合：\{0，1,2,···\}**  
如果地址空间中的整数是连续的，那么我们总说它是一个线性地址空间。为了简化讨论，我们总是假设使用的是线性地址空。  
**在一个带虚拟内存的系统从，CPU从一个有N=2^n个地址的地址空间中生成虚拟地址，这个地址空间称为虚拟地址空间。**  
\{0,1,2，···,N-1\}  
**一个地址空间的大小是由表示最大地址所需要的位数来描述的**。例如，一个包含N=2^n个地址的虚拟地址空间叫做一个n位地址空间。  
**现代系统通常支持32位或者64位虚拟地址空间。**  
一个系统还有一个**物理地址空间**，对于系统中物理内存的M个字节：  
\{0,1,2，···，M-1\}  
M不要求是2的幂，但是为了简化讨论，我们假设M=2^m。  
**地址空间的概念很重要的，因为它清楚地区分了数据对象（字节）和它们的属性（地址）**。一旦认识到了这种区别，那么我们就可以将其推广，**允许每个数据对象有多个独立的地址，其中每个地址都选自一个不同的地址空间。这就是虚拟内存的基本思想**。  
主存中的每字节都有一个选自虚拟地址空间的虚拟地址和一个选自物理地址空间的物理地址。

## 虚拟内存作为缓存的工具 ##

**概念上而言，虚拟内存被组织为一个由存放在磁盘上的N个连续的字节大小的单元组成的数组**。  
**每字节都有一个唯一的虚拟地址，作为到数组的索引。磁盘上的数组的内容被缓存在主存中**。和存储器层次结构中其他缓存一样，磁盘（较低层）上的数据被分割成块，这些块作为磁盘和主存（较高层）之间的传输单元。**VM系统通过将虚拟内存分割为虚拟页(VP)的大小固定的块来处理这个问题。每个虚拟页的大小为P=2^p字节**。类似的，**物理内存被分割为物理页(PP)，大小也为P字节（物理页也被称为页帧）**

在任意时刻，虚拟页面的集合都分为三个不相交的子集：  
**未分配的**：VM系统还未分配（或者创建）的页。未分配的块没有任何数据和它们相关联，因此也就不占用任何磁盘空间。  
**缓存的**：当前已缓存在物理内存中的已分配页。  
**未缓存的**：未缓存在物理内存中的已分配页。

下图的示例展示了一个有8个虚拟页的小虚拟内存。虚拟页0和3还没有被分配，因此在磁盘上还不存在。虚拟页1，4和6被缓存在物理内存中。页2,5和7已经被分配了，但是当前未缓存在主存中。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 2]

## DRAM缓存的组织结构 ##

为了有助于清晰理解存储层次结构中不同的缓存概念，我们将使用术语SRAM缓存来表示位于CPU和主存之间的L1,L2,L3高速缓存，**并且用术语DRAM缓存来表示虚拟内存系统的缓存，它在主存中缓存虚拟页。**  
**在存储层次结构中，DRAM缓存的位置对它的组织结构有很大的影响。DRAM比SRAM要慢大约10倍，而磁盘要比DRAM慢大约100000多倍**。因此，DRAM缓存的不命中比起SRAM缓存中的不命中要昂贵得多，这是因为**DRAM缓存不命中要由磁盘来服务，而SRAM缓存不命中通常是由基于DRAM的主存来服务的**。而且，从磁盘的一个扇区读取第一个字节的时间开销 比起读这个扇区中连续的字节要慢大约100000倍。归根到底，DRAM缓存的组织结构完全是由巨大的不命中开销驱动的。  
因为大的不命中处罚和访问第一个字节的开销，虚拟页往往很大，通常是4KB~2MB。**由于大的不命中的处罚，DRAM缓存是全相联的，即任何虚拟页都可以放置在任何的物理页中**。不命中时的替换策略也很重要，因为替换错了虚拟页的处罚也非常之高。因此，与硬件对SRAM缓存相比，操作系统对DRAM缓存使用了更复杂精密的替换算法。最后，因为对磁盘的访问时间很长，DRAM缓存总是使用写回，而不是直写。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center]

## 页表 ##

**同任何缓存一样，虚拟内存系统必须有某种方法来判定一个虚拟页是否缓存在DRAM的某个地方**。如果是，系统还必须确定个虚拟页存放在哪个物理页中。如果不命中，系统必须判断这个虚拟页存放在磁盘的哪个位置，在物理内存中选择一个牺牲页，并将虚拟页从磁盘复制到DRAM中，替换这个牺牲页。  
这些功能是由软硬件结合提供的，包括操作系统软件，MMU中的地址翻译硬件和一个存放在物理内存中叫做页表的数据结构，页表将虚拟页映射到物理页。**每次地址翻译硬件将一个虚拟地址转换为物理地址时，都会读取页表。操作系统负责维护页表的内容，以及在磁盘与DRAM之间来回传送页。**  
**下图展示了一个页表的基本组织结构**。  
**页表就是一个页表条目（PTE）的数组。虚拟地址空间中的每个页在页表中一个固定偏移量处都有一个PTE**。  
为了我们的目的，我们将假设每个PTE是由一个有效位和一个n位地址字段组成的。有效位表明了该虚拟页当前是否被缓存在DRAM中。如果设置了有效位，那么地址字段就表示DRAM中相应的物理页的起始位置，这个物理页中缓存了该虚拟页。如果没有设置有效位，那么一个空地址表示这个虚拟页还没被分配。否则，这个地址就指向该虚拟页在磁盘上的起始位置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 3]  
上图展示了一个有8个虚拟页和4个物理页的系统的页表。四个虚拟页（VP1,VP2,VP4和VP7）当前被缓存在DRAM中。两个页（VP0和VP5）还未被分配，而剩下的页（VP3和VP6）已经被分配了，但是当前还未被缓存。因为DRAM缓存是全相联的，所以任意物理页都可以包含任意虚拟页。

## 页命中 ##

当CPU想要读包含在VP2中的虚拟内存的一个字时会发生什么？VP2被缓存在DRAM中。地址翻译硬件将虚拟地址作为一个索引来定位PTE2，并从内存中读取它。因为设置了有效位，那么地址翻译硬件就知道VP2是缓存在内存中的了。所以它使用PTE中的物理内存地址（该地址执行PP1中缓存页的起始位置），构造出这个字的物理地址。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 4]

## 缺页 ##

**在虚拟内存的习惯说法中，DRAM缓存不命中称为缺页**。下图展示了在缺页之前我们的示例页表的状态。CPU引用了VP3中的一个字，VP3并未缓存在DRAM中。地址翻译硬件从内存中读取PTE3，从有效位推断出VP3未被缓存，并且触发一个缺页异常。缺页异常调用内核中的缺页异常处理程序，该程序会选择一个牺牲页，在此例中就是存放在PP3的VP4。如果VP4已经被修改了，那么内核就会将它复制回磁盘。无论哪种情况，内核都会修改VP4的页表条目，反映出VP4不再缓存在主存中这一事实。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 5]  
接下来，内核从磁盘复制VP3到内存中的PP3，更新PTE3,随后返回。当异常处理程序返回时，它会重新启动导致缺页的命令，该命令会把导致缺页的虚拟地址重新发送到地址翻译硬件。但是现在，VP3已经缓存在主存中了，那么页命中也能由地址翻译硬件正常处理了。下图展示了在缺页之后我们的示例页表的状态。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 6]  
虚拟内存是在20世纪60年代早期发明的，远在CPU-内存之间差距的加大引发产生SRAM缓存之前。因此，虚拟内存系统使用了和SRAM缓存不同的术语，即使它们的许多概念是相似的。在虚拟内存的习惯说法中，块称为页。在磁盘和内存之间传送页的活动叫做交换，或者页面调度。页从磁盘换入（或者页面调入）DRAM和从DRAM换出（或者页面调出）磁盘。一直等待，直到最后时刻，也就是当有不命中发生时，才换入页面的这种策略称为按需页面调度。也可以采用其他的方法，例如尝试着预测不命中，在页面实际被引用之前就换入页面。**然而，所有现代系统都使用的是按需页面调度的方式。**

## 分配页面 ##

下图展示了当操作系统分配一个新的虚拟内存页时对我们示例页表的影响，例如，调用malloc的结果。在这个示例中，VP5的分配过程是在磁盘上创建空间并更新PTE5,使它指向磁盘上这个新创建的页面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 7]

## 局部性救了我们 ##

当我们中的许多人都了解了虚拟内存的概念之后，我们的第一印象通常是它的效率应该是非常低。因为不命中处罚很大，我们担心页面调度会破坏程序性能。实际上，虚拟内存工作得相当好，这主要归功于我们的老朋友**局部性。**  
尽管在运行的过程中程序引用的不同页面的总数可能超出物理内存的总的大小，但是局部性原则保证了在任意时刻，程序将趋向于在一个较小的活动页面集合上工作，这个集合叫做**工作集或者常驻集合。**  
在初始开销，也就是将工作集页面调度到内存中之后，接下来对这个工作集的引用将导致命中，而不会产生额外的磁盘流量。  
只要我们的程序有好的时间局部性，虚拟内存系统就能工作得相当好。但是，当然不是所有的程序都能展现良好的时间局部性。如果工作集的大小超出了物理内存的大小，那么程序将产生一种不幸的状态，叫做**抖动**，这时页面将不断地换进换出。虽然虚拟内存通常是有效的，但是如果一个程序性能慢得像爬一样，那么就应该考虑是不是发生了抖动。

## 虚拟内存作为内存管理的工具 ##

我们在前面看到了虚拟内存是如何提供一种机制，利用DRAM缓存来自通常更大的虚拟地址空间的页面。一些早期的系统，比如DEC PDP-11/70,支持的是一个比物理内存更小的虚拟地址空间。然而，虚拟地址仍然是一个有用的机制，因为它大大地简化了内存管理，并提供了一种自然的保护内存的方法。  
到目前为止，我们都假设有一个单独的页表，将一个虚拟地址空间映射到物理地址空间。实际上，操作系统为每个进程提供了一个独立的页表，因而也就是一个独立的虚拟地址空间。下图展示了基本思想。在这个示例中，进程i的页表将VP1映射到PP2，VP2映射到PP7。相似地，进程j的页表将VP1映射到PP7,VP2映射到PP10。  
**注意，多个虚拟页面可以映射到同一个共享物理页面上，但是不共享这个物理页面上的数据！！！**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center 1]  
**按需页面调度和独立的虚拟地址空间的结合，对系统中内存的使用和管理造成了深远的影响。特别地，VM简化了链接和加载、代码和数据共享，以及应用程序的内存分配。**

**简化链接** 独立的地址空间允许每个进程的内存映像使用相同的基本格式，而不管代码和数据实际存放在物理内存的何处。一个给定的Linux系统上的每个进程都使用类似的内存格式。对于64位地址空间，代码段总是从虚拟地址0x400000开始。数据段跟在代码段之后，中间有一段符合要求的对齐空白。栈占据用户进程地址空间最高的部分，并向下生长。这样的一致性极大地简化了链接器的设计和实现，允许链接器生成完全链接的可执行文件，这些可执行文件是独立于物理内存中代码和数据的最终位置的。

**简化加载**。虚拟内存还使得容易向内存中加载可执行文件和共享对象文件。要把目标文件.tetx和.data节加载到一个新创建的进程中，Linux加载器为代码和数据段分配虚拟页，把它们标记为无效的（即未被缓存的），将页表条目指向目标文件中适当的位置。加载器从不从磁盘到内存实际复制任何数据。在每个页初次被引用时，要么是CPU取指令时引用的，要么是一条正在执行的指令引用一个内存位置时引用的，虚拟内存系统会按照需要自动地调入数据页。  
**将一组连续的虚拟页映射到任意一个文件的任意位置的表示法称作内存映射。Linux提供一个称为mmap的系统调用，允许应用程序自己做内存映射。**

**简化共享**。独立地址空间为操作系统提供了一个管理用户进程和操作系统自身之间共享的一种机制。一般而言，每个进程都有自己私有的代码、数据、堆以及栈区域，是不和其他进程共享的。在这种情况中，操作系统创建页表，将相应的虚拟页映射到不连续的物理页面。

然而，**在一些情况中，还是需要进程来共享代码和数据的**。例如，每个进程必须调用相同的操作系统内核代码，而每个C程序都会调用C标准库中的程序，比如printf。操作系统通过将不同进程中适当的虚拟页面映射到相同的物理页面，从而安排多个进程共享这部分代码的一个副本，而不是在每个进程中都包括单独的内核和C标准库的副本。如上图所示。

**简化内存分配**。虚拟内存为用户进程提供一个简单的分配额外内存的机制。当一个运行在用户进程中的程序要求额外的堆空间时（如调用malloc的结果），操作系统分配一个适当数字（例如k)个连续的虚拟内存页面，并且将它们映射到物理内存中任意位置的k个任意的物理页面。由于页表工作的方式，操作系统没有必要分配k个连续的物理内存页面。页面可以随机地分散在物理内存中。

## 虚拟内存作为内存保护的工具 ##

任何现代计算机系统必须为操作系统提供手段来控制对内存系统的访问。不应该允许一个用户进程修改它的只读代码段。而且也不应该允许它读或者修改任何内核中的代码和数据结构。不应该允许它读或者写其他进程的私有内存，并且不允许它修改任何与其他进程共享的虚拟页面，除非所有的共享者都显示地允许它这么做（通过调用明确的进程间通信系统调用）  
提供独立的地址空间使得区分不同进程的私有内存变得容易。  
但是，地址翻译机制可以以一种自然的方式扩展到提供更好的访问控制。  
**因为每次CPU生成一个地址时，地址翻译硬件都会读一个PTE，所以通过在PTE上添加一些额外的许可位来控制对一个虚拟页面内容的访问十分简单。**  
下图展示了大致的思想。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center 2]  
在这个示例中，每个PTE已经添加了3个许可位。**SUP位表示进程是否必须运行在内核（超级用户）模式下才能访问该页**。  
运行在内核模式中的进程可以访问任何页面，但是运行在用户模式中的进程只允许访问那些SUP为0的页面。READ位和WRITE位控制对页面的读和写访问。例如，如果进程i运行在用户模式下，那么它有读VP0和读写VP1的权限。然而，不允许它访问VP2。  
**如果一条指令违反了这些许可条件，那么CPU就会触发一个一般保护故障，将控制传递给一个内核中的异常处理程序。Linux shell一般将这种异常报告为“段错误”。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70]: /images/20221022/9801099739934b14b13a2059e86ada8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 1]: /images/20221022/4d4d54c4066a47d1b7aba89290ef4d18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 2]: /images/20221022/192d48e8b79a49bdbb44dd864eef6f09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/ff5a506e38e647b9af6cc6dff31dc3e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 3]: /images/20221022/6286fb87b4a24a44aaeb5a31cbce26d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 4]: /images/20221022/8b8e90d7fbd34a9d905147e3d2f466f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 5]: /images/20221022/ffbea784fd8741a78ea853f93b1367d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 6]: /images/20221022/5a3fd42597344923bcb97663c9ca40f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70 7]: /images/20221022/754d92a39fa74e2aa8da772ffa9e36a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221022/cb60ddc0e543409395b2fcf8c23db2c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xJTlpFWVU2NjY_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221022/41e9220e9eef40c0b175e078ed2dbaed.png