python 文本文件内存_Python：如何读取巨大的文本文件到内存中

一时失言乱红尘 2023-01-09 01:19 173阅读 0赞

我在使用1GB内存的Mac Mini上使用Python 2.6。我想读一个巨大的文本文件

$ ls -l links.csv; file links.csv; tail links.csv

\-rw-r--r-- 1 user user 469904280 30 Nov 22:42 links.csv

links.csv: ASCII text, with CRLF line terminators

4757187,59883

4757187,99822

4757187,66546

4757187,638452

4757187,4627959

4757187,312826

4757187,6143

4757187,6141

4757187,3081726

4757187,58197

因此，文件中的每行都包含两个逗号分隔的整数值的元组。

我想在整个文件中阅读并按照第二列进行排序。我知道，我可以进行排序，而不是将整个文件读入内存。但是我想到一个500MB的文件，我仍然可以在内存中执行，因为我有1GB可用。

但是，当我尝试读入该文件时，Python似乎分配了比磁盘上的文件所需要的内存多。所以即使有1GB的RAM，我无法读取500MB的文件到内存。

我的用于读取文件的Python代码和打印有关内存消耗的一些信息是：

\#!/usr/bin/python

\# -\*- coding: utf-8 -\*-

import sys

infile=open("links.csv", "r")

edges=\[\]

count=0

\#count the total number of lines in the file

for line in infile:

count=count+1

total=count

print "Total number of lines: ",total

infile.seek(0)

count=0

for line in infile:

edge=tuple(map(int,line.strip().split(",")))

edges.append(edge)

count=count+1

\# for every million lines print memory consumption

if count%1000000==0:

print "Position: ", edge

print "Read ",float(count)/float(total)\*100,"%."

mem=sys.getsizeof(edges)

for edge in edges:

mem=mem+sys.getsizeof(edge)

for node in edge:

mem=mem+sys.getsizeof(node)

print "Memory (Bytes): ", mem

我得到的输出是：

Total number of lines: 30609720

Position: (9745, 2994)

Read 3.26693612356 %.

Memory (Bytes): 64348736

Position: (38857, 103574)

Read 6.53387224712 %.

Memory (Bytes): 128816320

Position: (83609, 63498)

Read 9.80080837067 %.

Memory (Bytes): 192553000

Position: (139692, 1078610)

Read 13.0677444942 %.

Memory (Bytes): 257873392

Position: (205067, 153705)

Read 16.3346806178 %.

Memory (Bytes): 320107588

Position: (283371, 253064)

Read 19.6016167413 %.

Memory (Bytes): 385448716

Position: (354601, 377328)

Read 22.8685528649 %.

Memory (Bytes): 448629828

Position: (441109, 3024112)

Read 26.1354889885 %.

Memory (Bytes): 512208580

在阅读了只有25％的500MB文件后，Python消耗了500MB。所以看起来，将文件的内容存储为int的元组列表并不是非常有效的内存。

有没有更好的方法来做，所以我可以读取我的500MB文件到我的1GB内存？

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关 python读取浮点数和读取文本文件

![0e4143144139eb02302d83c89b62ff6c.jpeg][] 这篇文章主要介绍了python读取浮点数和读取文本文件示例,需要的朋友可以参考下从文

超、凢脫俗/ 2024年03月31日 11:56/ 0 赞/ 91 阅读

相关读取文本文件到程序中

File docPath = new File("E:\\\\【阶段13】SpringMvc\\\\day06\\\\代码\\\\src"); for (File f :

落日映苍穹つ/ 2024年02月18日 15:07/ 0 赞/ 67 阅读

相关 python 文本文件内存_Python：如何读取巨大的文本文件到内存中

我在使用1GB内存的Mac Mini上使用Python 2.6。我想读一个巨大的文本文件 $ ls -l links.csv; file links.csv; tail li

一时失言乱红尘/ 2023年01月09日 01:19/ 0 赞/ 174 阅读

相关添加python的文本文件

1、添加python文件包 mkdir +文件名如果是创建多层目录，则使用os.mkdirs import os path = “/pythonProject2/

妖狐艹你老母/ 2022年12月14日 15:55/ 0 赞/ 139 阅读

相关 Java读取文本文件

package mypackage; import java.io.\; public class TextRead \{ public static void main(St

快来打我*/ 2022年09月28日 13:22/ 0 赞/ 225 阅读

相关 python编辑文本文件,使用Python编辑文本文件。

![Image 1][] I''m learning Python and I need some help. I have a text file with 12 colu

忘是亡心i/ 2022年08月30日 11:16/ 0 赞/ 264 阅读

相关 Java——读取文本文件

import java.io.; class test{ public static void main(String[] args) thro

爱被打了一巴掌/ 2022年06月07日 08:45/ 0 赞/ 278 阅读

相关 Python 操作文本文件

模式描述 r 以读方式打开文件，可读取文件信息。 w 以写方式打开文件，可向文件写入信息。如文件存在，则清空该文件，再写入新内容 a 以追加模式打开文件（即一打开

女爷i/ 2022年05月31日 05:48/ 0 赞/ 278 阅读

相关 Java复制文本文件到其他文本文件中

import java.io.BufferedReader; import java.io.FileInputStream; import java.i

女爷i/ 2022年05月24日 14:15/ 0 赞/ 239 阅读

相关读取文本文件FileReader

IO流 ![坚持比努力更重要][70] 读取文本文件FileReader package com.file.test; import j

分手后的思念是犯贱/ 2022年05月10日 14:40/ 0 赞/ 296 阅读