多线程下的fwrite和write

╰+哭是因爲堅強的太久メ 2022-09-12 12:57 134阅读 0赞

Linux下的文件操作，有人喜欢用C库的文件流操作（标准IO），有人喜欢用Linux的文件IO。一般来说，C库的文件操作会更高效一些，因为C库自己做了文件缓存的处理。今天，主要研究多线程下的fwrite与write，每个线程都对相同的FILE\*或者fd进行写操作，看看结果是否为预期行为。

**1、实验描述：**

定义三个线程向同一个文件中写入数据：线程1~3分别写入"aaaaaa\\n"，"bbbbbb\\n"，和"cccccc\\n"各一百万次。如果写入文件的操作是“线程安全”的，那么最终的文件行数应该是3百万行，且每行只可能是"aaaaaa"、"bbbbbb"、和"cccccc"的一种。

**2、代码如下：**

#include <stdlib.h>
    #include <stdio.h>
    #include <unistd.h>
    #include <pthread.h>
    #include <string.h>
    #include <sys/types.h>
    #include <sys/stat.h>
    #include <fcntl.h>
    
    //#define USE_CLIB
    
    #define TEST_FILE   "./tmp.txt"
    
    #define LOOPS       (1000000)
    
    
    #ifdef USE_CLIB
    struct thr_data {
        FILE *fp;
        const char *data;
    };
    
    static void * write_data(void *data)
    {
        struct thr_data *d;
        size_t len;
        int i;
    
        d = data;
        len = strlen(d->data);
        for (i = 0; i < LOOPS; ++i) {
            fwrite(d->data, len, 1, d->fp);
        }
    
        return NULL;
    }
    
    #else
    struct thr_data {
        int fd;
        const char *data;
    };
    
    static void *write_data(void *data)
    {
        struct thr_data *d;
        int i;
        size_t len;
    
        d = data;
        len = strlen(d->data);
        for (i = 0; i < LOOPS; ++i) {
            write(d->fd, d->data, len); 
        }
    
        return NULL;
    }
    #endif
    
    
    
    int main(void)
    {
        pthread_t t1, t2, t3;
        struct thr_data d1, d2, d3;
    
    #ifdef USE_CLIB
        FILE *fp = fopen(TEST_FILE, "w");
        d1.fp = d2.fp = d3.fp = fp;
    #else
        //int fd = open(TEST_FILE, O_WRONLY|O_TRUNC);
        int fd = open(TEST_FILE, O_WRONLY|O_TRUNC|O_APPEND);
        d1.fd = d2.fd = d3.fd = fd;
    #endif
    
        d1.data = "aaaaaa\n";
        d2.data = "bbbbbb\n";
        d3.data = "cccccc\n";
    
        pthread_create(&t1, NULL, write_data, &d1);
        pthread_create(&t2, NULL, write_data, &d2);
        pthread_create(&t3, NULL, write_data, &d3);
    
        pthread_join(t1, NULL);
        pthread_join(t2, NULL);
        pthread_join(t3, NULL);
    
    #ifdef USE_CLIB
        fclose(fp);
    #else
        close(fd);
    #endif
    
        printf("successs...");
        return 0;
    }

**3、实验结果：**

1）定义了宏USE\_CLIB，即使用C库的fwrite，其结果如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16][]

2）注释掉红USE\_CLIB，使用文件IO的write，并且打开文件时不使用O\_APPEND参数，其结果如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

3）注释掉红USE\_CLIB，使用文件IO的write，并且打开文件时使用O\_APPEND，其结果如下：   ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16][]

**4、实验结论：**

*  无论是C库的fwrite还是文件IO的write都可以保证输出不会混杂——即多线程的输出不会混在一起出现aaabbb等情况。
 *  使用C库的fwrite是线程安全的函数。 
 *  使用文件IO的write时，并且open文件时不使用O\_APPEND参数，最终的文件行数是非预期的，远小于总数3百万行。也就证明了，write是非“线程安全”的。多线程下，其输出会互相覆盖。
 *  使用文件IO的write时，并且open文件时使用O\_APPEND参数，是线程安全的。

**5、说明：**

为什么结果是这样的？

1）我们先看fwrite的实现，下面的代码来自与glibc的截图:

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

在fwrite内部，其使用一个lock保证操作的串行化，从而实现线程安全。

2）write的实现，见下图：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

在写入之前，使用file\_pos\_read拿到偏移。如果在多核多线程的情况下，两个核心可能同时陷入内核态，同时获得文件的当前偏移，其值必然是相等的。于是两个线程往同一个偏移写入了数据。最后导致文件的实际大小，并不是预期大小。

最后总结：C库的fwrite是线程安全函数，而文件IO的write则需要额外的标志位O\_APPEND做追加写，来保证偏移的不重叠，实现预期的并发写入。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/240f630d8f954003b5761c5fa875b0b1.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/7fd1a6aa556f4f9eaa55637c57852cdf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/d3be5e4a401a456a87571b8c7e267c71.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LW26Lev5Lq65YS_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/e5e196cc58cc439696973aabf11b8e4a.png