pandas apply应用并行进程，多核加快数据清洗速度

偏执的太偏执、 2022-02-14 02:25 521阅读 0赞

在2019届腾讯广告算法大赛中对1亿级别的数据，使用了多进程加速数清洗。

会用到 pandas 。但是 pandas 本身好像并没有提供多进程的机制。本文将介绍如何来自己实现 pandas (apply 函数)的多进程执行。其中，我们主要借助 joblib 库，这个库为python 提供了一个非常简洁方便的多进程实现方法。

原来单进程代码：

df1 = pd.read_csv('file1.csv')
    df2 = pd.read_csv('file2.csv')
    
    def add_labels(filenam,df):
    	list_name = list(df['name'])
    	if filename in list_name:
    		i = list_name.index(filename)
    		return df['是否购买][i]
    	else:
    		return 'Nan'
    		
    df1['是否购买'] = df1['name'].apply(add_labels, args=(df2,))

修改为多进程代码：

from joblib import Parallel,delayed
    
    def add_labels(filenam,df):
    	list_name = list(df['name'])
    	if filename in list_name:
    		i = list_name.index(filename)
    		return df['是否购买][i]
    	else:
    		return 'Nan'
    		
    def tmp_func(df1):
    	df1['是否购买'] = df1['name'].apply(add_labels, args=(df2,))
    	return df
    def apply_parallel(df_grouped,func):
    	results = Parallel(n_jobs=10)(delayed(func)(group) for name,group in df_grouped)
    	return pd.concat(results)
    	
    df_grouped = df1.groupby(df1.index)
    df1 = apply_parallel(df_grouped,tmp_func)

使用类似上面的代码，但是实际运行的代码不是上面的：加速  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]: /images/20220214/151aad60a87e4ddc8d31c9e44c47cb34.png