Python数据处理——Pandas模块使用（七）

超、凢脫俗 2022-05-23 06:48 311阅读 0赞

### 本文主要介绍Pandas统计函数：groupby、pivot\_table及crosstab ###

#### 产生数据 ####

import numpy as np
    import pandas as pd
    from pandas import DataFrame
    
    df = DataFrame({
       'key1':['a','a','b','b','a'],
                    'key2':['one','two','one','two','one'],
                    'data1':[1,2,3,2,5],
                    'data2':np.random.randn(5)})
    print(df)
    # data1 data2 key1 key2
    # 0 1 0.493919 a one
    # 1 2 -0.887280 a two
    # 2 3 -0.267727 b one
    # 3 2 0.048972 b two
    # 4 5 0.309441 a one

##### 分组groupby #####

Pandas中最为常用和有效的分组函数。

*  按列分组  
    注意以下使用groupby()函数生成的group1是一个中间分组变量，为GroupBy类型。既可依据单个列名’key1’进行为分组，也可依据多个列名\[‘key1’,’key2’\]进x行分组。根据for循环遍历元素。

# 根据单个列分组
    group1 = df.groupby('key1')
    print(group1)
    # <pandas.core.groupby.DataFrameGroupBy object at 0x0000015036489710>
    
    # 根据多个列分组
    group2 = df.groupby(['key1','key2'])
    print(group2)
    # <pandas.core.groupby.DataFrameGroupBy object at 0x000001503636C080>
    
    # 遍历group1中的元素
    l=[x for x in group1]
    print(l)
    # [('a', data1 data2 key1 key2
    # 0 1 0.493919 a one
    # 1 2 -0.887280 a two
    # 4 5 0.309441 a one), 
    # ('b', data1 data2 key1 key2
    # 2 3 -0.267727 b one
    # 3 2 0.048972 b two)]

*  按分组统计  
    在分组group1、group2上应用size()、sum()、count()等统计函数，能分别统计分组数量、不同列的分组和、不同列的分组数量。

# 调用聚合函数打印出每个组中结果
    print(group1.size())
    # key1
    # a 3
    # b 2
    # dtype: int64
    
    print(group1.sum() )
    # data1 data2
    # key1 
    # a 8 -0.083919
    # b 5 -0.218755
    
    print(group1.count())
    # data1 data2 key2
    # key1 
    # a 3 3 3
    # b 2 2 2

*  应用agg()  
    对于分组的某一列或者多个列，应用agg(func)可以对分组后的数据应用func函数。例如：用group1\[‘data1’\].agg(‘mean’)对分组后的’data1’列求均值。当然也可以推广到同时作用于多个列和使用多个函数上。

print(group1['data1'].agg('mean'))
    # key1
    # a 2.666667
    # b 2.500000
    # Name: data1, dtype: float64
    
    print(group1['data1'].agg(['mean','sum']))
    # mean sum
    # key1
    # a 2.666667 8
    # b 2.500000 5
    
    print(group1['data1','data2'].agg(['mean','sum']))
    # data1 data2
    # mean sum mean sum
    # key1
    # a 2.666667 8 -0.556335 -1.669005
    # b 2.500000 5 0.052789 0.105577

*  应用apply()  
    apply()不同于agg()的地方在于：前者应用于dataframe的各个列，后者仅作用于指定的列。

print(df.groupby('key1').apply(np.mean))
    # data1 data2
    # key1 
    # a 2.666667 0.083070
    # b 2.500000 -0.346864
    
    print(df.groupby(['key1','key2']).apply(np.mean))
    # data1 data2
    # key1 key2
    # a one 3.0 0.556917
    # two 2.0 -0.864626
    # b one 3.0 0.723882
    # two 2.0 -1.417610

##### 透视表pivot\_table #####

可以产生类似于excel数据透视表的结果，相当的直观。

*  分组统计  
    其中参数index指定“行”键，columns指定“列”键。

print(pd.pivot_table(df, index='key1', columns='key2'))
    # data1 data2 
    # key2 one two one two
    # key1 
    # a 3 2 0.246833 1.018249
    # b 3 2 -0.508228 1.298586
    
    print(df.pivot_table(['data1'], index='key1',columns='key2'))
    # data1
    # key2 one two
    # key1
    # a 3 2
    # b 3 2

*  分项汇总  
    如果将参数margins设置为True，则可以得到分项总计数据。

print(df.pivot_table(index='key1',columns='key2', margins=True))
    # data1 data2
    # key2 one two All one two All
    # key1
    # a 3.0 2.0 2.666667 0.246833 1.018249 0.503971
    # b 3.0 2.0 2.500000 -0.508228 1.298586 0.395179
    # All 3.0 2.0 2.600000 -0.004854 1.158417 0.460454

#### 交叉表crosstab ####

可以按照指定的行和列统计分组频数，用起来非常方便；当然同样的功能也可采用groupby实现。

print(pd.crosstab(df.key1,df.key2, margins=True))
    # key2 one two All
    # key1
    # a 2 1 3
    # b 1 1 2
    # All 3 2 5