再见 CSV，速度提升 150 倍！

野性酷女 2022-09-14 15:20 218阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

白日登山望烽火，黄昏饮马傍交河。

大家好，我是东哥。

前几天有个粉丝留言，说`pandas`的100个骚操作系列为什么只有21个啊？这里和大家说一下，这个系列「[pandas100个骚操作][pandas100]![91eb10e1a1a717ca5450c2b8ec7cea3f.png][]。

![03782ed5e2a62e26ac43a84160481eb5.png][]

我的原计划是输出100个，目前来看可能最终不一定会到100个，但每个都是超实用且平时经常会遇到的问题。`pandas`的用法太多了，如果不熟练，平时是需要经常网上查找的，这个系列可以帮助大家快速回忆用法。

或者万一平时遇到问题查不到无法解决，也可以过来看下，毕竟某度上是查不到微信文章的。**该系列预计25-30篇文章的时候，东哥会总结成第一版的PDF电子版，方便大家使用。剩下来的继续更新迭代版本。**

## 为什么要和CSV再见？ ##

好了说了那么久，来介绍下为什么要和`CSV`再见。其实也谈不上彻底再见吧，日常还是要用的，这里再介绍一个更加高效的数据格式。

用`Python`处理数据时保存和加载文件属于日常操作了，尤其面对大数据量时我们一般都会保存成`CSV`格式，而不是`Excel`。一是因为`Excel`有最大行数1048576的限制，二是文件占用空间更大，保存和加载速度很慢。

虽然用`CSV`没有行数限制，相对轻便，但是面对大数据量时还是略显拉夸，百万数据量储存加载时也要等好久。。不过很多同学都借此机会抻抻懒腰、摸摸鱼，充分利用时间也不错![0a846b1fe8c985d4cfd2fb978ca69153.png][]。

其实，`CSV` 并不是唯一的数据存储格式。今天和大家介绍一个速度超快、更加轻量级的二进制格式保存格式：**feather**。

## Feather是什么？ ##

`Feather` 是一种用于存储数据帧的数据格式。它最初是为了 `Python` 和 `R` 之间快速交互而设计的，初衷很简单，就是尽可能高效地完成数据在内存中转换的效率。

现在 `Feather` 也不仅限于 `Python` 和 `R` 了，基本每种主流的编程语言中都可以用 `Feather` 文件。不过，要说明下，它的数据格式并不是为长期存储而设计的，一般的短期存储。

## 如何在Python中操作Feather？ ##

在 `Python` 中，可以通过 `pandas` 或 `Feather` 两种方式操作。首先需要安装`feather-format`。

# pip 
    pip install feather -format 
    
    # Anaconda 
    conda install -c conda-forgefeather-format

只需要上面一行安装即可，很简单。

我们通过一个较大的数据集举例，需要 `Feather`、`Numpy` 和 `pandas` 来一起配合。数据集有 5 列和 1000 万行随机数。

import feather
    import numpy as np
    import pandas as pd
    
    np.random.seed = 42
    df_size = 10000000
    
    df = pd.DataFrame({
        'a': np.random.rand(df_size),
        'b': np.random.rand(df_size),
        'c': np.random.rand(df_size),
        'd': np.random.rand(df_size),
        'e': np.random.rand(df_size)
    })
    df.head()

![39c7454935433ff318399adeeb76c31c.png][]

它的用法和之前`csv`的操作难度一个水平线，非常简单。

**保存**

两种方式，一是 `DataFrame` 直接`to_feather` 的 `Feather` 格式：

df.to_feather('1M.feather')

二是用 `Feather` 库执行相同操作的方法：

feather.write_dataframe(df, '1M.feather')

**加载**

加载也是一样的，同样还是两种方式。一是通过`pandas`加载：

df = pd.read_feather('1M.feather')

二是用 `Feather` 加载：

df =feather.read_dataframe('1M.feather')

操作习惯一样，难度完全没有。

## 和CSV的区别 ##

对比产生美。下面来看下`feather`和`csv`的差距有多大。下图显示了上面本地保存 DataFrame 所需的时间：

![24239a4cd5bcf5884cf2dfe53877f721.png][]

差距巨大，有木有！原生 `Feather`(图中的`Native Feather`)比 `CSV` 快了将近 150 倍左右。如果使用 `pandas` 处理 `Feather` 文件并没有太大关系，但与 `CSV` 相比，速度的提高是非常显著的。

然后再看下读取不同格式的相同数据集需要多长时间。

![53ca143c65dd22cd12877aec2817cf55.png][]

同样，差异也很明显。`CSV` 的读取速度要慢得多。并且`CSV`占用的磁盘空间也更大。

![496a92ad2e54bd2644b114e71c27c8f1.png][]

`CSV` 文件占用的空间是 `Feather` 文件占用的空间的两倍多。假如我们每天存储千兆字节的数据，那么选择正确的文件格式至关重要。`Feather` 在这方面完全碾压了 `CSV`。

当然，如果追求更多的压缩空间，也可以试试`Parquet`，也是一个可以替代`CSV` 的格式。

## 结语 ##

说了这么多，可能很多同学还是甩出一句话：**谢谢东哥，我选CSV![5a54aa3cb85e29f79f11df603513ce04.png][]。** 这个东西怎么说呢![84bde51600f5a64563f6c2dfeee12228.png][]，当你需要它时，它就有用，如果日常没有速度和空间的强烈需求，还是老老实实`CSV`吧。`CSV`已经用惯了，改变使用习惯还是挺难的。

**原创不易，点赞让我继续坚持。**

小伙伴们，快快用实践一下吧！如果在学习过程中，有遇到任何问题，欢迎加我好友，我拉你进Python学习交流群共同探讨学习。

![a640ab3fd383446ebd8de0a11a5c60b3.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你采集京东销售数据并做简单的数据分析和可视化][Link 1]  
    
 *  [手把手教你用Pyecharts库对淘宝数据进行可视化展示][Pyecharts]
 *  [手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理][Pandas]
 *  [Python项目实战篇——常用验证码标注&识别(前端+后端实现高效率数据标注)][Python]

![4d7d94c33fa401909ce0d097d3b7b5d5.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[pandas100]: https://blog.csdn.net/yuxiaosmd/article/details/109583263
[91eb10e1a1a717ca5450c2b8ec7cea3f.png]: /images/20220828/5003bc536e0c448a8a488a49d62a8b44.png
[03782ed5e2a62e26ac43a84160481eb5.png]: /images/20220828/52b253634a0e48509b89294d95db0eae.png
[0a846b1fe8c985d4cfd2fb978ca69153.png]: /images/20220828/b0ba2dad7ee84f9396b953ff1ab9ae25.png
[39c7454935433ff318399adeeb76c31c.png]: /images/20220828/df38d26e315f4cb181c651ea69f548c0.png
[24239a4cd5bcf5884cf2dfe53877f721.png]: /images/20220828/2a18d8da8685401688d0dfba393e76a5.png
[53ca143c65dd22cd12877aec2817cf55.png]: /images/20220828/d91ddc1b152b4a72a375a300601169e5.png
[496a92ad2e54bd2644b114e71c27c8f1.png]: /images/20220828/f976ad93d39f481aa23ad5f8804da6eb.png
[5a54aa3cb85e29f79f11df603513ce04.png]: https://img-blog.csdnimg.cn/img_convert/5a54aa3cb85e29f79f11df603513ce04.png
[84bde51600f5a64563f6c2dfeee12228.png]: /images/20220828/b0069123f41d4be4a4d1a01a38a92f5d.png
[a640ab3fd383446ebd8de0a11a5c60b3.png]: /images/20220828/e7b7dc55e5004d819c6004d5258245bf.png
[Link 1]: https://blog.csdn.net/weixin_38753213/article/details/112001044
[Pyecharts]: https://blog.csdn.net/pdcfighting/article/details/119880791
[Pandas]: https://blog.csdn.net/pdcfighting/article/details/119962726
[Python]: https://blog.csdn.net/pdcfighting/article/details/120245546
[4d7d94c33fa401909ce0d097d3b7b5d5.png]: /images/20220828/2e0b9802135b4b40b3471cbc78c2f9a6.png