Numpy中常用的保存与读取数据的方法

Love The Way You Lie 2022-12-29 00:16 167阅读 0赞

在遇到经常性的读取数值文件的时候，比如在做深度学习处理的数据，将原始数据转为Numpy格式的数据，然后使用Numpy直接读取，这样可以加快数据的读取速度，缩减数据加载的时间。下面对常用的保存和读取数据的方式进行介绍：

# numpy.save() #

保存一个数组到一个二进制的文件中,保存格式是.npy

**参数介绍**  
numpy.save(file, arr, allow\_pickle=True, fix\_imports=True)

file:文件名/文件路径  
arr:要存储的数组  
allow\_pickle:布尔值,允许使用Python pickles保存对象数组(可选参数,默认即可)  
fix\_imports:为了方便Pyhton2中读取Python3保存的数据(可选参数,默认即可)

例：

import numpy as np

\#生成数据

x = np.arange(10)

print(x)

\#保存数据

np.save('save\_x',x)

输出结果：

![2020121813492366.png][]

2、numpy.savez

这个同样是保存数组到一个二进制的文件中,但是厉害之处是,它可以保存多个数组到同一个文件中,保存格式是.npz,它其实就是多个前面np.save的保存的npy,再通过打包(未压缩)的方式把这些文件归到一个文件上,不行你去解压npz文件就知道了,里面是就是自己保存的多个npy.

**参数介绍**  
numpy.savez(file, \*args, \*\*kwds)

file:文件名/文件路径  
\*args:要存储的数组,可以写多个,如果没有给数组指定Key,Numpy将默认从'arr\_0','arr\_1'的方式命名  
kwds:(可选参数,默认即可)

例：

import numpy as np
    x = np.arange(10)
    print(x)
    y=np.sin(x)
    print("保存前的数据：")
    print(x,y)
    np.savez('save_xy',x,y)
    npzfile=np.load('save_xy.npz')
    xx=npzfile['arr_0']
    yy=npzfile['arr_1']
    print("保存后的数据：")
    print(xx,yy)

输出结果：

![20201218134948986.png][]

你也可以不用Numpy默认给数组的Key，自己给数组定义key。例：

import numpy as np
    
    x = np.arange(10)
    
    print(x)
    
    y=np.sin(x)
    
    print("保存前的数据：")
    
    print(x,y)
    
    np.savez('save_xy',x=x,y=y)
    
    npzfile=np.load('save_xy.npz')
    
    xx=npzfile['x']
    
    yy=npzfile['y']
    
    print("保存后的数据：")
    
    print(xx,yy)

输出结果：

![20201218135015754.png][]

在深度学习中，拥有上述技能，你把训练集、测试集、验证集统统保存成Numpy格式的文件，大大提高加载速度。

# Numpy.savez\_compressed #

在numpy.savez的基础上加了压缩,对文件进行打包时使用了压缩,可以理解为压缩前各npy的文件大小不变,使用该函数比前面的numpy.savez得到的npz文件更小.

注:函数所需参数和numpy.savez一致,用法完成一样.

例：

import numpy as np
    
    x = np.arange(10)
    
    print(x)
    
    y=np.sin(x)
    
    print("保存前的数据：")
    
    print(x,y)
    
    np.savez_compressed('save_xy',x=x,y=y)
    
    npzfile=np.load('save_xy.npz')
    
    xx=npzfile['x']
    
    yy=npzfile['y']
    
    print("保存后的数据：")
    
    print(xx,yy)

输出结果：

![20201218135044403.png][]

# Numpy.savetxt #

保存数组到文本文件上,可以直接打开查看文件里面的内容.

**参数介绍**  
numpy.savetxt(fname, X, fmt='%.18e', delimiter=' ', newline='\\n', header='', footer='', comments='\# ', encoding=None)

fname:文件名/文件路径,如果文件后缀是.gz,文件将被自动保存为.gzip格式,np.loadtxt可以识别该格式  
X:要存储的1D或2D数组  
fmt:控制数据存储的格式  
delimiter:数据列之间的分隔符  
newline:数据行之间的分隔符  
header:文件头步写入的字符串  
footer:文件底部写入的字符串  
comments:文件头部或者尾部字符串的开头字符,默认是'\#'  
encoding:使用默认参数

例：

import numpy as np
    
    x = np.arange(10)
    
    #保存数据
    
    np.savetxt('test.out', x)
    
    np.savetxt('test1.out', x,fmt='%1.4e')
    
    np.savetxt('test2.out', x, delimiter=',')
    
    np.savetxt('test3.out', x,newline='a')
    
    np.savetxt('test4.out', x,delimiter=',',newline='a')
    
    np.savetxt('test5.out', x,delimiter=',',header='abc')
    
    np.savetxt('test6.out', x,delimiter=',',footer='abc')

输出结果：

![20201218135117297.png][]

# Numpy.loadtxt #

根据前面定制的保存格式,相应的加载数据的函数也得变化.

**参数介绍**  
numpy.loadtxt(fname, dtype=<class 'float'>, comments='\#', delimiter=None, converters=None, skiprows=0, usecols=None, unpack=False, ndmin=0, encoding='bytes')

fname:文件名/文件路径,如果文件后缀是.gz或.bz2,文件将被解压,然后再载入  
dtype:要读取的数据类型  
comments:文件头部或者尾部字符串的开头字符,用于识别头部,尾部字符串  
delimiter:划分读取上来值的字符串  
converters:数据行之间的分隔符  
.......后面不常用的就不写了

**例：**

np.loadtxt('test.out')
    
    np.loadtxt('test2.out', delimiter=',')

参考文章

https://numpy.org/doc/stable/reference/routines.io.html

[2020121813492366.png]: /images/20221120/7f74d8289cc04362b07fe4799ba5d825.png
[20201218134948986.png]: /images/20221120/c7f573c417334bec9dfae16912dcd0b6.png
[20201218135015754.png]: /images/20221120/9a71803d29c94c93ad7a95051e8dbff4.png
[20201218135044403.png]: /images/20221120/917344c65d2640c89fbb8222844ebc79.png
[20201218135117297.png]: https://img-blog.csdnimg.cn/20201218135117297.png