python多个循环提速_Pandas循环提速7万多倍！Python数据分析攻略

╰半橙微兮° 2023-01-09 14:19 152阅读 0赞

原标题：Pandas循环提速7万多倍！Python数据分析攻略 来源：量子位

关注前沿科技

量子位

乾明 编译整理 量子位 报道 | 公众号 QbitAI

用Python和Pandas进行数据分析，很快就会用到循环。

但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。

遇到较大的DataFrame时，需要的时间会更长，会让人更加头疼。

现在，有人忍不了了。他是一位来自德国的数据分析师，名叫Benedikt Droste。

他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。

在给出的替代方案中，使用Numpy向量化，与使用标准循环相比，速度提升了71803倍。

![Image 1][]

他是怎么实现的？我们一起来看看~标准循环处理3年足球赛数据：20.7秒

DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。

Python不能利用任何内置函数，而且速度很慢。在Benedikt Droste的提供的示例中，是一个包含65列和1140行的Dataframe，包含了2016-2019赛季的足球赛结果。

需要解决的问题是：创建一个新的列，用于指示某个特定的队是否打了平局。可以这样开始：def soc\_loop(leaguedf,TEAM,):

leaguedf\['Draws'\] = 99999

for row in range(0, len(leaguedf)):

if ((leaguedf\['HomeTeam'\].iloc\[row\] == TEAM) & (leaguedf\['FTR'\].iloc\[row\] == 'D')) | \\

((leaguedf\['AwayTeam'\].iloc\[row\] == TEAM) & (leaguedf\['FTR'\].iloc\[row\] == 'D')):

leaguedf\['Draws'\].iloc\[row\] = 'Draw'

elif ((leaguedf\['HomeTeam'\].iloc\[row\] == TEAM) & (leaguedf\['FTR'\].iloc\[row\] != 'D')) | \\

((leaguedf\['AwayTeam'\].iloc\[row\] == TEAM) & (leaguedf\['FTR'\].iloc\[row\] != 'D')):

leaguedf\['Draws'\].iloc\[row\] = 'No\_Draw'

else:

leaguedf\['Draws'\].iloc\[row\] = 'No\_Game'

在这个案例中是阿森纳，在实现目标之前要确认阿森纳参加了哪些场比赛，是主队还是客队。但使用标准循环非常慢，执行时间为20.7秒。

那么，怎么才能更有效率？Pandas 内置函数: iterrows ()ー快321倍

在第一个示例中，循环遍历了整个DataFrame。iterrows()为每一行返回一个Series，它以索引对的形式遍历DataFrame，以Series的形式遍历感兴趣的列。这使得它比标准循环更快：def soc\_iter(TEAM,home,away,ftr):

\#team, row\['HomeTeam'\], row\['AwayTeam'\], row\['FTR'\]

if \[((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D'))\]:

result = 'Draw'

elif \[((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D'))\]:

result = 'No\_Draw'

else:

result = 'No\_Game'

return result

![Image 1][]

代码运行时间为68毫秒，比标准循环快321倍。但是，许多人建议不要使用它，因为仍然有更快的选项，而且iterrows()不能跨行保存dtype。

这意味着，如果你在DataFrame dtypes上使用iterrows()，可以更改它，但这会导致很多问题。

一定要保存dtypes的话，你还可以使用itertuples()。这里我们不详细讨论 ，你可以在这里找到官方文件：

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.itertuples.htmlapply ()方法ー快811倍

apply 本身并不快，但与DataFrame结合使用时，它具有优势。这取决于 apply 表达式的内容。如果可以在 Cython 空间中执行，那么apply要快得多，这里的示例就是这种情况。

大家可以在Lambda函数中使用apply。所要做的就是指定这个轴。在本文的示例中，想要执行按列操作，要使用 axis 1：

![Image 1][]

这段代码甚至比之前的方法更快，完成时间为27毫秒。Pandas向量化—快9280倍

此外，也可以利用向量化的优点来创建非常快的代码。

重点是避免像之前的示例中的Python级循环，并使用优化后的C语言代码，这将更有效地使用内存。只需要稍微修改一下函数：def soc\_iter(TEAM,home,away,ftr):

df\['Draws'\] = 'No\_Game'

df.loc\[((home == TEAM) & (ftr == 'D')) | ((away == TEAM) & (ftr == 'D')), 'Draws'\] = 'Draw'

df.loc\[((home == TEAM) & (ftr != 'D')) | ((away == TEAM) & (ftr != 'D')), 'Draws'\] = 'No\_Draw'

现在，可以用 Pandas 列作为输入创建新列：

![Image 1][]

在这种情况下，甚至不需要循环。所要做的就是调整函数的内容。现可以直接将Pandas 列传递给函数，从而获得巨大的速度增益。Numpy向量化—快71803倍

在上面的示例中，将将Pandas 列传递给函数。通过添加.values，可以得到一个Numpy数组：

因为引用了局部性的好处，Numpy数组的速度非常快，代码运行时间仅为0.305毫秒，比一开始使用的标准循环快71803倍。谁更强一目了然

最后，Benedikt Droste对上述方案进行了总结。

他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。

在对上述五种方法进行比较之后，哪个更快一目了然：

![Image 1][]

从这个图中，可以得出两个结论：1、如果要使用循环，则应始终选择apply方法。

2、否则，使用向量化是最好的，因为它更快！

![Image 1][]

(声明：本文仅代表作者观点，不代表新浪网立场。)

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，152人围观）

还没有评论，来说两句吧...

相关阅读

相关 python多个循环提速_Pandas循环提速7万多倍！Python数据分析攻略

原标题：Pandas循环提速7万多倍！Python数据分析攻略来源：量子位关注前沿科技量子位乾明编译整理量子位报道 | 公众号 QbitAI 用Pytho

╰半橙微兮°/ 2023年01月09日 14:19/ 0 赞/ 153 阅读

相关 python循环创建多个列表_PYTHON-在循环中创建多个列表

我想在我的大学里做一个程序设计项目，但是我卡住了。我已经介绍了“数学”部分，但是我需要Python中列表和循环的帮助。我正在处理图表，让我举一个例子，让它更清楚： 3 n

小咪咪/ 2023年01月09日 14:18/ 0 赞/ 171 阅读

相关前端多线程大文件下载实践，提速10倍

背景没错，你没有看错，是前端多线程，而不是`Node`。这一次的探索起源于最近开发中，有遇到视频流相关的开发需求发现了一个特殊的状态码，他的名字叫做 `206`~ !

- 日理万妓/ 2022年12月19日 01:27/ 0 赞/ 257 阅读

相关 Python的pip下载提速

由于 Python 国内的网络不是很稳定，导致，我们下载所需要的库时，速度都是非常慢，最后很有可能导致超时下载。这是我们可以选择国内的镜像来下载加速： pip i

悠悠/ 2022年12月10日 10:26/ 0 赞/ 131 阅读

相关在Python里面调用Golang函数，提速72倍

转自：[http://www.pinlue.com/article/2020/09/1811/3811241999102.html][http_www.pinlue.com_a

朴灿烈づ我的快乐病毒、/ 2022年12月08日 05:16/ 0 赞/ 126 阅读

相关再见 for 循环！pandas 提速 315 倍！

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤西陆蝉声唱，南冠客思深。 ![for

r囧r小猫/ 2022年11月04日 00:52/ 0 赞/ 182 阅读

相关 Python 之父爆料：明年至少令 Python 提速 1 倍！

△点击上方“Python猫”关注，回复“1”领取电子书 ![f7244c1e33d3fd5cf6eee08b8f8494b1.png][] 作者：豌豆花下猫来源

太过爱你忘了你带给我的痛/ 2022年10月20日 03:41/ 0 赞/ 190 阅读

相关 Python中一个for循环循环多个变量

首先，熟悉一个函数zip，如下是使用help(zip)对zip的解释。 Help on built-in function zip in module \_\_builti

左手的ㄟ右手/ 2022年08月09日 13:39/ 0 赞/ 227 阅读

相关 numba为Python提速

from time import time from numba import jit from numba import autojit

墨蓝/ 2022年02月21日 16:19/ 0 赞/ 277 阅读

相关银行业多用户大数据量自助分析提速方案

银行自助分析系统用户多，数据量大，系统速度还要求飞快。与此同时，后台数据仓库却已经负担了太多的应用，无法为大量连接提供高性能查询。点击银行业多用户大数据量自助分析提速方案，去乾

深碍√TFBOYSˉ_/ 2022年01月12日 15:57/ 0 赞/ 161 阅读