pkl与excel文件读取速度测试

灰太狼 2022-12-28 06:15 133阅读 0赞

\*\*

## pkl文件与excel文件读取速度测试代码 ##

\*\*

本代码来自bilibili的AniPython

分享一下源码：

数据测试集：

[链接：https://pan.baidu.com/s/17OovTL\_UHQ8rccHIRAdVkQ  
提取码：love  
复制这段内容后打开百度网盘手机App，操作更方便哦][https_pan.baidu.com_s_17OovTL_UHQ8rccHIRAdVkQ _love _App]

总结：

1.代码很简单，但这种函数模板和函数思维值得借鉴  
2.结果是读取pkl比excel快得多。

read_pickle()用时: 0.036秒
    read_excel()用时: 2.823秒
    #基本信息
    class 'pandas.core.frame.DataFrame'>
    RangeIndex: 17520 entries, 0 to 17519

import pandas as pd
    from time import time
    
    
    def use_time(func):
        def wrapper(*args, **kwargs):
            start = time()
            result = func(*args, **kwargs)
            use = round(time() - start, 3)
            print('%s()用时: %s秒' % (func.__name__, use))
            return result
    
        return wrapper
    
    
    @use_time
    def read_excel(fn):
        df = pd.read_excel(fn)
        return df
    
    
    @use_time
    def read_pickle(fn):
        df = pd.read_pickle(fn)
        return df
    
    
    @use_time
    def write_pickle(df):
        df.to_pickle('2019.pkl')
    
    
    if __name__ == '__main__':
        df1 = read_excel('2019.xlsx')
        df1.info()
        print('*' * 30)
        df2 = read_pickle('2019.pkl')
        df2.info()
        # write_pickle(df)

[https_pan.baidu.com_s_17OovTL_UHQ8rccHIRAdVkQ _love _App]: https://pan.baidu.com/s/17OovTL_UHQ8rccHIRAdVkQ

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java读取Excel文件，导出Excel文件

目录 1、使用Apache POI框架读取Excel文件 2、使用EasyExcel框架读取Excel文件 3、java导出Excel数据 --------------

朱雀/ 2024年03月23日 21:32/ 0 赞/ 116 阅读

相关 C++ 读取txt文件方法读取速度比较

测试程序部分如下：文本文档中每一行代表一个三维坐标的x，y，z值，中间使用空格隔开 ![20200312165014529.png][] // fread.cp

深碍√TFBOYSˉ_/ 2023年07月13日 13:51/ 0 赞/ 14 阅读

相关速度优化——python的pandas批量读取CSV、Excel等文件

速度优化——[python的pandas批量读取CSV、Excel等文件][python_pandas_CSV_Excel] 有一堆命名、格式、内容样式都一样的文件，逐个

ゝ一世哀愁。/ 2023年01月04日 14:32/ 0 赞/ 170 阅读

相关 pkl与excel文件读取速度测试

\\ pkl文件与excel文件读取速度测试代码 \\ 本代码来自bilibili的AniPython 分享一下源码：数据测试集： [链接：https://p

灰太狼/ 2022年12月28日 06:15/ 0 赞/ 134 阅读

相关 Python读取mnist.pkl文件（填坑记）

使用python读取mnist.pkl文件的过程中出现如下所示错误 ![20201005092819825.png][] 下面是为修改之前的代码 import p

矫情吗；*/ 2022年12月12日 02:14/ 0 赞/ 226 阅读

相关 poi 读取excel 文件

代码例子在底下一、 POI简介 Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式

た入场券/ 2022年09月17日 10:22/ 0 赞/ 320 阅读

相关 php读取Excel文件

转载自开源中国[https://www.oschina.net/code/snippet\_615713\_35836][https_www.oschina.net_code_

妖狐艹你老母/ 2022年05月27日 04:10/ 0 赞/ 290 阅读

相关 Java读取Excel文件

简介：总结Java读取Excel文件 1. 添加maven依赖 <dependency> <groupId>org.apache.

系统管理员/ 2022年04月11日 10:30/ 0 赞/ 411 阅读

相关 .pkl是什么文件

.pkl是python保存文件的一种文件格式，如果直接打开会显示一堆序列化的东西。需要使用rb类型来打开 rb – 读取2进制文件，r – 读取文本文件

痛定思痛。/ 2021年12月10日 13:13/ 0 赞/ 2661 阅读

相关 Java 读取Excel文件

转自：http://blog.csdn.net/tkd03072010/article/details/6692366 需要用到的jar包：[ jxl-2.6

男娘i/ 2021年09月10日 12:04/ 0 赞/ 573 阅读