linux fopen 大文件内容,LINUX下写大文件—fopen/fprintf，open/write怎么写大文件

拼搏现实的明天。 2023-01-19 08:14 13阅读 0赞

在32位机器下，默认情况下，文件长度是off\_t类型，这个可以从ftrucate的参数，从stat获取的文件属性struct stat中都可以看出文件的长度是用off\_t类型表示的，即文件的长度在32位机器下默认是long int类型。

所以，默认情况下，在Linux系统下，fopen和open操作的文件大小不能超过2G。

我们制造了一个异常文件，5G左右，可以使用dd命令来构建，也可以写个脚本来构建。

我写了一段程序来测试:

\#include \#include \#include \#include \#include \#include \#include \#include

int main(int argc,char \*argv\[\])

\{

FILE \*fp;

int fd;

fp = fopen("./bill\_test","a+");                                                              //bill\_test是一个5G左右的文件

if(fp == NULL)

\{

perror("fopen bill\_test fail::");

\}

else

\{

int ret = 0;

ret = fprintf(fp,"%s\\t","bill");

if(ret < 0)

\{

perror("write bill\_test fail::");

fclose(fp);

exit(1);

\}

fclose(fp);

\}

fd = open("./bill\_test",O\_APPEND|O\_RDWR,0666);                  //bill\_test是一个5G左右的文件

if(fd == -1)

\{

perror("open bill\_test fail::");

\}

else

\{

int len=0;

len = write(fd,"hello",5);

if(len == -1)

\{

perror("write bill\_test fail::");

close(fd);

exit(1);

\}

close(fd);

\}

return 0;

\}

//当使用： g++ file\_test.cpp -o file\_test           对源码编译后，运行结果如下:

./file\_test

fopen bill\_test fail::: File too large

open bill\_test fail::: File too large

可以看出，在32位机器下，不能直接支持超过2G的文件。

解决方案一、

g++   -D \_FILE\_OFFSET\_BITS=64   file\_test.cpp  -o   file\_test

此时在用tail  -f    bill\_test，然后再运行./file\_test，可以看到数据被正常的写入bill\_test文件中。

解决方案二、

对与open，可以使用O\_LARGEFILE参数，即:

fd   =   open("./bill\_test",O\_LARGEFILE|O\_APPEND|O\_RDWR,0666);

然后就没用问题了，但是fopen没有这个参数，只能按照方法一来解决。

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux数据库文件满了怎么办,linux mlocate.db文件文件过大

linux命令locate简介以及上述问题的解决命令简介 locate(locate) 命令用来查找文件或目录。 locate命令要比find -name快得多，原因在于

你的名字/ 2023年01月19日 08:20/ 0 赞/ 451 阅读

相关 linux fopen 大文件内容,LINUX下写大文件—fopen/fprintf，open/write怎么写大文件

在32位机器下，默认情况下，文件长度是off\_t类型，这个可以从ftrucate的参数，从stat获取的文件属性struct stat中都可以看出文件的长度是用off\_t类

拼搏现实的明天。/ 2023年01月19日 08:14/ 0 赞/ 14 阅读

相关 linux分割大文件

分割文件并更改文件后缀： split xxx.sql -l 20 -d -a 2 splite_&&ls|grep splite_|xargs -n1 -i{} mv

阳光穿透心脏的1/2处/ 2022年12月17日 05:56/ 0 赞/ 160 阅读

相关 Windows/Linux上使用fopen相关函数读取大文件

在介绍读取大文件之前，先了解下<cstdint>文件，标准头文件，存放固定宽度整数类型，如int32\_t, uint32\_t，不管在32位上还是64位上，长度都为4个字节；

我就是我/ 2022年10月18日 11:22/ 0 赞/ 642 阅读

相关 Linux 怎么修改最大文件打开数量？

点击关注公众号，Java干货及时送达![342dcd3ebdb4db1b635d681e19bcb61e.png][] 作者：废物大师兄来源：www.cnblogs.c

绝地灬酷狼/ 2022年10月07日 07:52/ 0 赞/ 14 阅读

相关 Linux 怎么修改最大文件打开数量？

作者：废物大师兄来源：[www.cnblogs.com/cjsblog/p/9367043.html][www.cnblogs.com_cjsblog_p_9367043

浅浅的花香味﹌/ 2022年09月04日 07:45/ 0 赞/ 239 阅读

相关文件读写——fopen

1.2 文件的输入输出函数键盘、显示器、打印机、磁盘驱动器等逻辑设备, 其输入输出都可以通过文件管理的方法来完成。而在编程时使用最多的要算是

骑猪看日落/ 2022年08月01日 16:34/ 0 赞/ 199 阅读

相关 linux查找大文件和大目录

在Linux系统中，如何去搜索一些比较大的文件呢？下面我整理了一下在Linux系统中如何查找大文件或文件夹的方法。 1 如何查找大文件其实很多时候，你需要了解

た入场券/ 2022年05月14日 06:50/ 0 赞/ 280 阅读

相关 linux下大文件删除行

在linux 下，删除文件file中的第1到第N行： sed -i '1,N d' file PS：上面是对原文件file做删除操作。

女爷i/ 2022年03月28日 02:22/ 0 赞/ 321 阅读

相关 Linux下查询大文件

du --max-depth=1 -h / 排查进程消耗内存，可执行如下命令，根据rss列排序结果，核实最大消耗内存进程。 ps -eo pid,rss,p

骑猪看日落/ 2022年02月03日 04:27/ 0 赞/ 240 阅读