Unix/Linux编程：绕过缓冲区高速内存------直接IO

古城微笑少年丶 2022-10-15 12:59 175阅读 0赞

# 直接IO #

始于内核2.4，**Linux运行应用程序在执行磁盘IO时绕过缓冲区高速缓存，从用户空间直接将数据传递到文件或者磁盘设备**。这也叫做直接 I/O（direct I/O）或者裸 I/O(raw I/O)。

> 此处的描述细节为 Linux 所特有，SUSv3 并未对其进行规范。尽管如此，大多数 UNIX实现均对设备和文件提供了某种形式的直接 I/O 访问

有时会将直接IO误认为获取快速IO性能的一种手段。但是，对大多数应用而言，使用直接IO可能会大大降低性能。这是因为为了提高IO性能，内核针对缓冲区高速缓存做了不少优化，比如：按顺序预读取、在成簇（clusters）磁盘块上执行 I/O，允许访问同一文件的多个进程共享高速缓存的缓冲区。

**直接IO只适用于有特定IO需求的应用**，比如数据库系统，其高速缓存和IO优化机制均自成一体，无需内核消耗CPU时间和内存去完成相同的任务。

可以针对一个单独文件或块设备(比如，一块磁盘)执行直接IO。要做到这点，**需要在调用open()打开文件或者设备时指定 O\_DIRECT 标志**。

**若一进程以 O\_DIRECT 标志打开某文件，而另一进程以普通方式（即使用了高速缓存缓冲区）打开同一文件，则由直接 I/O 所读写的数据与缓冲区高速缓存中内容之间不存在一致性。应尽量避免这一场景**

> O\_DIRECT 标志自内核2.4.10开始有效，并非所有Linux文件系统和内核版本都支持该标志。绝大多数原生（native）文件系统都支持 O\_DIRECT，但许多非 UNIX 文件系统（比如VFAT）则不支持。对于所关注的文件系统，有必要进行相关测试（若文件系统不支持O\_DIRECT，则 open()将失败并返回错误号 EINVAL）或是阅读内核源码，以此来加以验证

# 直接IO的对齐限制 #

因为直接IO(针对磁盘设备和文件)涉及对磁盘的直接访问，所以在执行IO时，必须遵守一些限制：

*  用于传递数据的缓冲区，其内存边界必须对齐为块大小的整数倍
 *  数据传输的开始点，亦即文件和设备的偏移量，必须是块大小的整数倍。
 *  待传递数据的长度必须是块大小的整数倍。

不遵守上述任一限制均将导致 EINVAL 错误。在上述列表中，块大小（block size）指设备的物理块大小（通常为 512 字节）。

> 看个例子

下面提供了一个使用 O\_DIRECT 标志打开一个文件读取数据的简单例子。该程序可指定多达 4 个命令行参数，依次为要读取的文件、要从文件中读取的字节数、读之前在文件中定位（seek）的偏移量和传递给 read()的数据缓冲区对齐。最后两个为可选参数，默认值分别为 0 字节和 4096 字节。下面是运行该程序的一些示例  
![在这里插入图片描述][20210525141600146.png]

//使用 O_DIRECT 跳过缓冲区高速缓存
    #define _GNU_SOURCE     /* Obtain O_DIRECT definition from <fcntl.h> */
    #include <fcntl.h>
    #include <malloc.h>
    #include <zconf.h>
    #include <stdlib.h>
    #include <stdio.h>
    #include <string.h>
    #include <malloc.h>
    
    int
    main(int argc, char *argv[])
    {
        
        int fd;
        ssize_t numRead;
        size_t length, alignment;
        off_t offset;
        char *buf;
    
        if (argc < 3 || strcmp(argv[1], "--help") == 0){
        
            printf("%s file length [offset [alignment]]\n", argv[0]);
            exit(EXIT_FAILURE);
        }
    
    
        length = atoi(argv[2]);
        offset = (argc > 3) ? atoi(argv[3]) : 0;
        alignment = (argc > 4) ?  atoi(argv[4]) : 4096;
    
        fd = open(argv[1], O_RDONLY | O_DIRECT);
        if (fd == -1){
        
            perror("open");
            exit(EXIT_FAILURE);
        }
    
    
        /* memalign（）分配一块内存，其内存块与第一个参数的整数倍对齐。
         * 通过将此参数指定为2 *'alignment'，然后将'alignment'添加到返回的指针中，我们确保'buf'在'alignment'的非2的幂的倍数上对齐。
         * 我们这样做是为了确保，例如，如果我们要求一个256字节对齐的缓冲区，那么我们不会意外地得到一个也在512字节边界对齐的缓冲区。 . */
    
        buf = static_cast<char *>(memalign(alignment * 2, length + alignment));
        if (buf == NULL){
        
            perror("memalign");
            exit(EXIT_FAILURE);
        }
    
        buf += alignment;
    
        if (lseek(fd, offset, SEEK_SET) == -1){
        
            perror("lseek");
            exit(EXIT_FAILURE);
        }
    
        numRead = read(fd, buf, length);
        if (numRead == -1){
        
            perror("numRead");
            exit(EXIT_FAILURE);
        }
        /*FIXME: should use %zd here, and remove (long) cast */
        printf("Read %ld bytes\n", (long) numRead);
    
        exit(EXIT_SUCCESS);
    }

# 总结 #

**在 Linux 环境下，open()所特有的 O\_DIRECT 标识允许特定应用跳过缓冲区高速缓存**

[20210525141600146.png]: /images/20221014/ed471e43390a455fbcc5eaa0458b1cbd.png