Java 中的内存映射Mmap

Bertha 。 2024-04-01 08:21 73阅读 0赞

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

#### mmap ####

*  前言
 *  一、mmap基础概念？
 *  二、mmap 内存映射原理
 *   *   *  （一）进程启动映射过程，并在虚拟地址空间中为映射创建虚拟映射区域
         *  （二）调用内核空间的系统调用函数mmap （不同于用户空间函数），实现文件物理地址和进程虚拟地址的一一映射关系
         *  （三）进程发起对这片映射空间的访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝。
 *  三，mmap和常规文件操作的区别
 *  四，mmap优点总结
 *  五，mmap使用细节

--------------------

## 前言 ##

Java 中原生读写方式大概可以被分为三种：普通 IO，FileChannel(文件通道)，mmap(内存映射)。区分他们也很简单，例如 FileWriter,FileReader 存在于 java.io 中，他们属于普通 IO;FileChannel 存在于 java.nio 中，也是 Java 最常用的文件操作类;而今天的主角 mmap，则是由 FileChannel 调用 map 方法衍生出来的一种特殊读写文件的方式，被称之为内存映射。

## 一、mmap基础概念？ ##

mmap 是一种内存映射文件的方法，即将一个文件或者其他对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一映射关系。

实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必调用read,write等系统调用函数。相反，内核空间的这段区域的修改也直接反应用户空间，从而可以实现不同进程的文件共享。如下图所示：

![在这里插入图片描述][046c48b176ef450498aafa536c73c330.png]  
由上图可以看出，进程的虚拟地址空间，由多个虚拟内存区域构成。虚拟内存区域是进程的虚拟地址空间中的一个同质区间，即具有同样特性的连续地址范围。上图中所示的text数据段、初始数据段、Bss数据段、堆、栈、内存映射，都是一个独立的虚拟内存区域。而为内存映射服务的地址空间处在堆栈之间的空余部分。

linux 内核使用的vm\_area\_struct 结构来表示一个独立的虚拟内存区域，由于每个不同质的虚拟内存区域功能和内部机制不同；因此同一个进程使用多个vm\_area\_struct 结构来分别表示不同类型的虚拟内存区域。各个vm\_area\_struct 结构使用链表或者树形结构链接，方便进程快速访问。如下图所示：

![在这里插入图片描述][296f2032878f4d44a7776e8d6bf8c277.png]  
vm\_area\_struct 结构中包含区域起始和终止地址以及其他相关信息，同时也包含一个vm\_ops 指针，其内部可引出所有针对这个区域可以使用的系统调用函数。这样，进程对某一虚拟内存区域的任何操作都需要的信息，都可以从vm\_area\_struct 中获得。mmap函数就是要创建一个新的vm\_area\_struct结构 ，并将其与文件的物理磁盘地址相连。

## 二、mmap 内存映射原理 ##

mmap 内存映射实现过程，总的来说可以分为三个阶段：

#### （一）进程启动映射过程，并在虚拟地址空间中为映射创建虚拟映射区域 ####

进程在用户空间调用函数mmap ，原型：void \*mmap(void \*start, size\_t length, int prot, int flags, int fd, off\_t offset);

在当前进程虚拟地址空间中，寻找一段空闲的满足要求的连续的虚拟地址

为此虚拟区分配一个vm\_area\_struct 结构，接着对这个结构各个区域进行初始化

将新建的虚拟区结构（vm\_area\_struct）插入进程的虚拟地址区域链表或树中

#### （二）调用内核空间的系统调用函数mmap （不同于用户空间函数），实现文件物理地址和进程虚拟地址的一一映射关系 ####

*  为映射分配新的虚拟地址区域后，通过待映射的文件指针，在文件描述符表中找到对应的文件描述符，通过文件描述符，链接到内核“已打开文集”中该文件结构体，每个文件结构体维护者和这个已经打开文件相关各项信息。
 *  通过该文件的文件结构体，链接到file\_operations模块，调用内核函数mmap，其原型为：int mmap(struct file \*filp, struct vm\_area\_struct \*vma)，不同于用户空间库函数。
 *  内核mmap函数通过虚拟文件系统inode模块定位到文件磁盘物理地址。
 *  通过remap\_pfn\_range函数建立页表，即实现了文件地址和虚拟地址区域的映射关系。此时，这片虚拟地址并没有任何数据关联到主存中。

#### （三）进程发起对这片映射空间的访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝。 ####

*  前两个阶段仅在于创建虚拟区间并完成地址映射，但是并没有将任何文件数据拷贝至主存。真正的文件读取是当进程发起读或者写操作时。
 *  进程的读写操作访问虚拟地址空间这一段映射地址后，通过查询页表，先这一段地址并不在物理页面。因为目前只建立了映射，真正的硬盘数据还没有拷贝到内存中，因此引发缺页异常。
 *  缺页异常进行一系列判断，确定无法操作后，内核发起请求掉页过程。
 *  调页过程先在交换缓存空间中寻找需要访问的内存页，，如果没有则调用nopage函数把所缺的页从磁盘装入到主存中。
 *  之后进程即可对这片主存进行读或者写的操作了，如果写操作改变了内容，一定时间后系统自动回写脏页面到对应的磁盘地址，也即完成了写入到文件的过程

。

注：修改过的脏页面并不会立即更新回文件，而是有一段时间延迟，可以调用msync() 来强制同步，这样所写的内容就能立即保存到文件里了。

## 三，mmap和常规文件操作的区别 ##

首先我们来回顾一下常规文件操作，函数的调用过程：

1.  进程发起读文件请求
2.  内核通过查找进程文件符表。
3.  inode在address\_space上查找要请求的文件页是否已经缓存在页缓存中。如果存在，则直接返回这片文件页的内容。
4.  总的来说，常规文件操作为了提高读写效率和保护磁盘，使用了页缓存机制，这样造成了读文件时需要先将文件页从磁盘拷贝到缓存中，由于页缓存处在内核空间，不能被用户进程直接寻址，所以还需要将页缓存中数据页再次拷贝到内存对用的用户空间中。这样通过两次拷贝过程，才能完成进程对文件内容的获取。写操作也一样，待写入的Buffer在内核空间不能直接访问，必须先拷贝到内核空间对应的主存，再回写磁盘中，也是需要两次数据拷贝。而使用mmap操作文件中，创建新的虚拟内存区域、建立文件磁盘地址和内存区域映射这两步，没有任何文件拷贝操作。而之后访问数据时，发现内存中并无数据而发起的缺失页异常过程，可以通过建立好的映射关系，只使用一次数据拷贝，就从磁盘中将数据传入内存的用户空间中，供过程使用
5.  总而言之，常规的文件操作需要从磁盘到页缓存再到用户主存的两次数据拷贝，而mmap操作文件，只需要从磁盘到用户主存的一次数据拷贝过程。说白了，mmap的关键点是实现了用户空间和内核的数据直接交互省去了空间不同数据不通的繁琐过程。因此mmap效率更高。

## 四，mmap优点总结 ##

由上文讨论可知，mmap 优点共有以下几点：

*  对文件的读取操作跨过了页缓存，减少了数据的拷贝次数，用内存读写取代了I/O读写，提高了读取的效率。
 *  实现了用户空间和内核空间的高校交互方式，两空间的各自修改操作可以直接反映在映射的区域内，从而被对方空间及时捕捉。
 *  提供进程间共享内存及互相通信的方式。不管是父子进程还是无亲缘关系进程，都可以将自身空间用户映射到同一个文件或者匿名映射到同一片区域。从而通过各自映射区域的改动，打到进程间通信和进程间共享的目的。
 *  同时，如果进程A和进程 B  
    都映射了区域C,当A第一次读取C时候，通过缺页从磁盘复制文件页到内存中，但当B再读C的相同页面时，虽然也会产生缺页异常，但是不会从磁盘中复制文件过来，而是直接使用已经保存再内存中的文件数据
 *  可用于实现高效的大规模数据传输。内存空间不足，是制约大数据操作的一个方面，解决方案往往是借助于硬盘空间的协助，补充内存的不足。但是进一步造成大量的文件I/O操作，极大影响效率。这个问题可以通过mmap映射很好的解决。换句话说，但凡需要磁盘空间代替内存的时候，mmap都可以发挥功效

## 五，mmap使用细节 ##

*  使用mmap需要注意一点，mmap映射区域大小必须是物理页大小（page\_size）的整数倍，原因是：内存的最小粒度是页，而进程虚拟地址空间和内存的映射单位也是以页为单位，为了匹配内存操作，mmap从磁盘到虚拟地址空间的映射也必须是页。
 *  内核可以跟踪被内存映射的底层对象，大小。就是说，如果文件的大小一直再扩张，只要再映射区域范围内的数据，进程都可以依法得到，这和映射建立时文件的大小无关。
 *  映射建立后，即使文件关闭，映射依然存在。因为映射的是磁盘的地址，不是文件本身，和文件句柄无关，同时可用于进程间通信的有效地址空间，不完全受限于被映射文件的大小，因为是按页映射

[046c48b176ef450498aafa536c73c330.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/00cc2a1f33114f8183a6a135152c375e.png
[296f2032878f4d44a7776e8d6bf8c277.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/569c8f05a56445c898ea8efc37be2916.png