python读取大文件

àì夳堔傛蜴生んèń 2022-02-28 12:36 310阅读 0赞

最近在学习python的过程中接触到了python对文件的读取。python读取文件一般情况是利用open()函数以及read()函数来完成：

f = open(filename,'r')
    f.read()

这种方法读取小文件，即读取远远大小小于内存的文件显然没有什么问题。但是如果是将一个10G大小的日志文件读取，即文件大于内存的大小，这么处理就有问题了，会造成MemoryError … 也就是发生内存溢出。

发生这种错误的原因在于，read()方法执行操作是一次性的都读入内存中，显然文件大于内存就会报错。

解决方法：

这里发现跟read()类似的还有其他的方法：read(参数)、readline()、readlines()

(1)read(参数)：通过参数指定每次读取的大小长度,这样就避免了因为文件太大读取出问题。

while True:
        block = f.read(1024)
        if not block:
            break

(2)readline()：每次读取一行

while True:
        line = f.readline()
        if not line:
            break

(3)readlines()：读取全部的行，构成一个list，通过list来对文件进行处理，但是这种方式依然会造成MemoyError

for line in f.readlines():
        ....

以上基本分析了python中读取文件的方法，但是总感觉不能达到python中所强调的优雅，后来发现了还有下面的解决方法：

pythonic（我理解的是很python的python代码）的解决办法：

with open(filename, 'r') as flie:
        for line in file:
            ....

对可迭代对象file进行迭代，这样会自动的使用buffered IO以及内存管理，这样就不必担心大文件问题了。

后来，又发现了一个模块：linecache，这个模块也可以解决大文件读取的问题，并且可以指定读取哪一行，

# 输出第2行 #

text = linecache.getline(filename, 2)

发表评论取消回复

表情：

评论列表（有 0 条评论，310人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 文件读取

1、CSV 文件存储 1.1 写入简单示例 import csv with open('data.csv', 'a') as csvf

亦凉/ 2023年09月30日 21:32/ 0 赞/ 17 阅读

相关使用Python读取大文件

今天有个朋友问了我一个问题，如何使用Python读取大文件？觉得这个问题挺有意思的，就记录下来。大部分时间我们处理小文件的时候（1g以内？），可以直接用f.read()或r

系统管理员/ 2023年06月15日 11:30/ 0 赞/ 13 阅读

相关 python 读取外部文件行数_[Python] 大文件数据读取分析

![098ae9237d438440047618f38993ad07.png][] 参考：stackoverflow.com 首先我们可以确定的是不能用`read()`与

r囧r小猫/ 2023年01月05日 12:20/ 0 赞/ 242 阅读

相关 Java读取大文件

文章目录 1. 在内存中读取 2. 通过文件流式传输 3. 使用Apache Commons IO进行流传输 4.

亦凉/ 2022年10月29日 04:30/ 0 赞/ 216 阅读

相关 ##python读取大文件的机制

概述：最近经常听别人的面试题目是读取一个大文件，然后出来读取到的字符串，比如某串的个数了，某串的出现频率之类的，和朋友聊天过程中决定用不同的语言比个赛，分别是c,python

水深无声/ 2022年09月29日 05:25/ 0 赞/ 176 阅读

相关 [Python] Python读取大文件的最后N行

import linecache filename = '/root/log\_history.txt' \ 放入缓存防止内存过载 def get\_line\

╰半橙微兮°/ 2022年09月22日 01:17/ 0 赞/ 248 阅读

相关 pandas 读取大文件

将每一块dataframe concat chunksize = 10 7 s = time.time() df = pd.DataFrame()

叁歲伎倆/ 2022年05月30日 02:16/ 0 赞/ 260 阅读

相关 python 文件读取

读取整个文件操作文件的第一步就是得打开要操作的文件，然后进行读取。在python中我们可以使用open函数来打开一个文件，然后使用read方法来读取文件。

太过爱你忘了你带给我的痛/ 2022年05月19日 10:53/ 0 赞/ 302 阅读

相关 python读取大文件

最近在学习python的过程中接触到了python对文件的读取。python读取文件一般情况是利用open()函数以及read()函数来完成： f = open(fi

àì夳堔傛蜴生んèń/ 2022年02月28日 12:36/ 0 赞/ 311 阅读

相关 php读取大文件

高效率计算文件行数 function count_line($file) { $fp=fopen($file, "r"); $

朴灿烈づ我的快乐病毒、/ 2022年01月05日 11:55/ 0 赞/ 296 阅读