python3中的groupby函数用法

野性酷女 2022-03-11 09:10 457阅读 0赞

# 原文地址：http://www.cnblogs.com/zhangzhangwhu/p/7219651.html #

# 前言 #

Python的pandas包提供的数据聚合与分组运算功能很强大，也很灵活。[《Python for Data Analysis》][Python for Data Analysis]这本书第9章详细的介绍了这方面的用法，但是有些细节不常用就容易忘记，遂打算把书中这部分内容总结在博客里，以便复习查看。根据书中的章节，这部分知识包括以下四部分：

1.GroupBy Mechanics（groupby技术）

2.Data Aggregation（数据聚合）

3.Group-wise Operation and Transformation（分组级运算和转换）

4.Pivot Tables and Cross-Tabulation（透视表和交叉表）

本文是第一部分，介绍groupby技术。

## 一、分组原理 ##

核心：

1.不论分组键是数组、列表、字典、Series、函数，只要其与待分组变量的轴长度一致都可以传入groupby进行分组。

2.默认axis=0按行分组，可指定axis=1对列分组。

对数据进行分组操作的过程可以概括为：split-apply-combine三步：

1.按照键值（key）或者分组变量将数据分组。

2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数。

3.将函数计算后的结果聚合。

[![figure1][]][figure1 1]

图1：分组聚合原理（图片来自《Python for Data Analysis》page 252)

![复制代码][copycode.gif]

import pandas as pd
    import numpy as np
    
    df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
        'key2' : ['one', 'two', 'one', 'two', 'one'],
        'data1' : np.random.randn(5),
        'data2' : np.random.randn(5)})

![复制代码][copycode.gif]

[![figure2][]][figure2 1]

我们将key1当做我们的分组键值，对data1进行分组，再求每组的均值：

grouped = df['data1'].groupby(df['key1'])

语法很简单，但是这里需要注意grouped的数据类型，它不在是一个数据框，而是一个GroupBy对象。

grouped

[![figure3][]][figure3 1]

实际上，在这一步，我们并没有进行任何计算仅仅是创建用key1分组后创建了一个GroupBy对象，我们后面函数的任何操作都是基于这个对象的。

求均值：

grouped.mean()

[![figure4][]][figure4 1]

刚刚我们只是用了key1进行了分组，我们也可以使用两个分组变量，并且通过unstack方法进行结果重塑：

means = df['data1'].groupby([df['key1'], df['key2']]).mean()

means

[![figure5][]][figure5 1]

means.unstack

[![figure6][]][figure6 1]

以上我们的分组变量都是df内部的Series,实际上只要是和key1等长的数组也可以：

states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])
    years = np.array([2005, 2005, 2006, 2005, 2006])
    df['data1'].groupby([states, years]).mean()

[![figure6][figure6 2]][figure6_figure6 2]

## 二、对分组进行迭代 ##

GroupBy对象支持迭代操作，会产生一个由分组变量名和数据块组成的二元元组：

for name, group in df.groupby('key1'):
        print name
        print group

[![figure7][]][figure7 1]

如果分组变量有两个：

for (k1,k2), group in df.groupby(['key1','key2']):
        print k1,k2
        print group

[![figure8][]][figure8 1]

我们可以将上面的结果转化为list或者dict，来看看结果是什么样的：

list(df.groupby(['key1','key2']))

[![figure9][]][figure9 1]

看不太清楚，我们来看看这个列表的第一个元素：

list(df.groupby(['key1','key2']))[0]

[![figure10][]][figure10 1]

同样，我们也可以将结果转化为dict（字典）：

dict(list(df.groupby(['key1','key2'])))

[![figure11][]][figure11 1]

dict(list(df.groupby(['key1','key2'])))[('a','one')]

[![figure12][]][figure12 1]

以上都是基于行进行分组，因为默认情况下groupby是在axis=0方向（行方向）进行分组，我们可以指定axis=1方向（列方向）进行分组：

grouped=df.groupby(df.dtypes,axis=1)
    list(grouped)[0]

[![figure13][]][figure13 1]

dict(list(grouped))

[![figure14][]][figure14 1]

注意，

'''下面两段语句功能一样'''
    df.groupby('key1')['data1']
    df.data1.groupby(df.key1)

## 三、通过字典进行分组 ##

people = pd.DataFrame(np.random.randn(5, 5),
         columns=['a', 'b', 'c', 'd', 'e'],
         index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
    people.ix[2:3, ['b', 'c']] = np.nan # 添加缺失值
    people

[![figure15][]][figure15 1]

假如，我们想按列进行聚合，该怎么操作呢？

我们根据实际情况，对列名建立字典，然后将此字典传入groupby，切记指定axis=1,因为我们是对列进行分组聚合：

mapping = {'a': 'red', 'b': 'red', 'c': 'blue',
         'd': 'blue', 'e': 'red', 'f' : 'orange'}
    by_columns=people.groupby(mapping,axis=1)
    by_columns.mean()

[![figure16][]][figure16 1]

既然我们可以通过传入字典来对列进行分组，那么肯定也可以通过传入Series来对列进行分组了（Series中的index就相当字典中的key嘛）：

map_series = pd.Series(mapping)
    people.groupby(map_series,axis=1).count()

[![figure17][]][figure17 1]

## 四、通过函数进行分组 ##

刚刚我们分组时利用了dict和series建立映射，对于一些复杂的需求，我们可以直接对groupby函数传递函数名来进行分组，以刚才的people数据为例，如果我们想按行分组，分组的key是每个人名的字母长度，该怎么做呢？比较直接的想法是相对每个名字求长度，建立一个数组，然后将这个数组传入groupby，我们来试验一下：

l=[len(x) for x in people.index]
    people.groupby(l).count()

[![figure18][]][figure18 1]

方案可行，那么有没有更快捷更优美的方法呢？当然有啦，我们只需将len这个函数名传给groupby即可：

people.groupby(len).count()

[![figure18][figure18 2]][figure18_figure18 2]

除了传递函数，我们也可以将函数和dict，series，array一起使用，毕竟最后都会统统转化为数组：

key_list = ['one', 'one', 'one', 'two', 'two']
    people.groupby([len, key_list]).min()

[![figure19][]][figure19 1]

## 五、根据索引级别分组 ##

刚刚我们的数据索引只有一级，当数据有多级索引时，可以通过level指定我们想要分组的索引，注意要使用axis=1表示按列：

columns = pd.MultiIndex.from_arrays([['Asian', 'Asian', 'Asian', 'America', 'America'],
        ['China','Japan','Singapore','United States','Canada']], names=['continent', 'country'])
    hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns)
    hier_df

[![figure19][figure19 2]][figure19_figure19 2]

我们按洲进行分组求和：

[![figure20][]][figure20 1]

[Python for Data Analysis]: http://shop.oreilly.com/product/0636920023784.do
[figure1]: /images/20220311/fb84909f54bf487784ca5fa49c460f7a.png
[figure1 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204005167-1937788854.png
[copycode.gif]: /images/20220311/13dbc72627bd48ce88eca1174a06678e.png
[figure2]: /images/20220311/646a64f9b7da4d41a41730512afe8f04.png
[figure2 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204008683-771439563.png
[figure3]: /images/20220311/670f2acf2b2e4761afbe01bf2d4d1ab7.png
[figure3 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204013058-1119779294.png
[figure4]: /images/20220311/f70541566d6f4a74b45f21580f3f9fee.png
[figure4 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204016699-1871463286.png
[figure5]: /images/20220311/640c191acd4c485787ddba594e9f1592.png
[figure5 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204019730-924519646.png
[figure6]: /images/20220311/4f5dba0ff5c443a185a066a5227ec126.png
[figure6 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204022855-1078125714.png
[figure6 2]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204027605-330583026.png
[figure6_figure6 2]: /images/20220311/62c412f4791d434dabc667a74f5108d4.png
[figure7]: /images/20220311/26a735c1b8eb411f820f1edadaede7e3.png
[figure7 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204029339-890195026.png
[figure8]: /images/20220311/c85cc2f69bbf44eb995f87a5bd2b1072.png
[figure8 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204031792-1430376656.png
[figure9]: /images/20220311/e83154260328495cbcaa4d5ee04a876a.png
[figure9 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204034636-543521423.png
[figure10]: /images/20220311/b2e79357a2c24bd6a9ddaff7f8c4e3f1.png
[figure10 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204059527-2020179104.png
[figure11]: /images/20220311/801c7016ec0a4268a01e79daab59c4cf.png
[figure11 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204101886-665413810.png
[figure12]: /images/20220311/6bbf5d5eb7cc4326b39d4a43cd2e8322.png
[figure12 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204105089-1565126310.png
[figure13]: /images/20220311/4479a04e273049e2ad4c9786dd3f8f5f.png
[figure13 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204108230-538757603.png
[figure14]: /images/20220311/6b679bd9ba27453294f5cf85e6c18e32.png
[figure14 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204110808-375268666.png
[figure15]: /images/20220311/40f57dc125444f70a9d78b3f196c13c6.png
[figure15 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204113495-1133503360.png
[figure16]: /images/20220311/ae3a592b67c5490a94e2d275a11302db.png
[figure16 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204117277-565400895.png
[figure17]: /images/20220311/ea9b3f539f7f439faaf2384a580b3b17.png
[figure17 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204120417-962500275.png
[figure18]: /images/20220311/3d0381f9239c43f5a6dc260d6f6babba.png
[figure18 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204123089-947962780.png
[figure18 2]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204126917-1522540539.png
[figure18_figure18 2]: /images/20220311/1e2a0aea5eff4ad286d34690b40b37d0.png
[figure19]: /images/20220311/acac4895917b42e9841a51589f7eb48b.png
[figure19 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204127839-49099479.png
[figure19 2]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204130511-114163901.png
[figure19_figure19 2]: /images/20220311/934f8d8b1bd84d5fbcacc3e852ed27dd.png
[figure20]: /images/20220311/e375cb9b33d84382b2c286102f834898.png
[figure20 1]: http://images2015.cnblogs.com/blog/804827/201707/804827-20170721204132433-1011573744.png