pandas数据分析给力教程【完整版】（六）

秒速五厘米 2022-09-15 15:56 221阅读 0赞

[上一篇：pandas数据分析给力教程【完整版】（五）][pandas]  
[下一篇：pandas数据分析给力教程【完整版】（七）][pandas 1]

import pandas as pd
    from pandas import Series,DataFrame
    
    import numpy as np

# pandas数据处理 #

## 1、删除重复元素 ##

def make_df(index, cols):
        df = DataFrame({ col: [col + str(i) for i in index] for col in cols})
        df.index = index
        return df

df = make_df([1,2,3,4], list('ABCD'))
    df

使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True

df.duplicated()

1    False
    2    False
    3    False
    4    False
    dtype: bool

df.loc[2] = df.loc[1]

df.duplicated(keep='last')

1     True
    2    False
    3    False
    4    False
    dtype: bool

df.loc[1, 'D'] = 'D4'

df.duplicated(subset=['A', 'B', 'C'])

1    False
    2     True
    3    False
    4    False
    dtype: bool

使用drop\_duplicates()函数删除重复的行

df.drop_duplicates()

df[~df.duplicated()]

df[np.logical_not(df.duplicated())]

## 2. 映射 ##

映射的含义：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定

需要使用字典：

`map = { 'label1':'value1', 'label2':'value2', ... }`

包含三种操作：

*  replace()函数：替换元素
 *  最重要：map()函数：新建一列
 *  rename()函数：替换索引

### 1) replace()函数：替换元素 ###

使用replace()函数，对values进行替换操作

data = np.random.randint(0,150, size=(4,3))
    index = ['张三', '李四', '王五', '赵六']
    columns = ['语文', '数学', '英语']
    df = DataFrame(index=index, data=data, columns=columns)
    df

首先定义一个字典

mapping = { 34: 104, 37: 107, 17: 117, 43: 134}

调用.replace()

df.replace(mapping)

replace还经常用来替换NaN元素

df.iloc[0,0] = np.nan

df.replace({ np.nan: 0})

============================================

练习19：

假设张三李四的课表里有满分的情况，老师认为是作弊，把所有满分的情况（包括150,300分）都记0分，如何实现？

============================================

df.iloc[0,0] = 150
    df.iloc[1,0] = 150
    df

df.replace({ 150:  0})

### 2) map()函数：新建一列 ###

使用map()函数，由已有的列生成一个新列

适合处理某一单独的列。

# map的基本用法: 根据已有列的数据来生成新的一列数据
    df['理综'] = df['数学'].map({ 43: 243, 54: 254, 37: 237, 17: 217})
    df

# 用法二: 修改已有列的数据
    df['数学'] = df['数学'].map({ 43:143, 54: 124, 37: 137, 17: 117})
    df

仍然是新建一个字典

map()函数中可以使用lambda函数

# 用法三: 传递lambda函数
    df['及格与否'] = df['英语'].map(lambda item: item >= 60)
    df

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>及格与否</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>张三</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
  </tr> 
  <tr> 
   <th>李四</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
  </tr> 
  <tr> 
   <th>王五</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
  </tr> 
  <tr> 
   <th>赵六</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
  </tr> 
 </tbody> 
</table>

df['python'] = df['英语'].map(lambda item: item * 2)
    df

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>及格与否</th> 
   <th>python</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>张三</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
   <td>172</td> 
  </tr> 
  <tr> 
   <th>李四</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
   <td>194</td> 
  </tr> 
  <tr> 
   <th>王五</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
   <td>120</td> 
  </tr> 
  <tr> 
   <th>赵六</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
   <td>76</td> 
  </tr> 
 </tbody> 
</table>

def convert(item):
        if item >= 80:
            return '优秀'
        elif item >= 60:
            return '及格'
        else:
            return  '不及格'

# map第四个用法: 传递一个普通函数
    df['score'] = df['英语'].map(convert)

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>及格与否</th> 
   <th>python</th> 
   <th>score</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>张三</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
   <td>172</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>李四</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
   <td>194</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>王五</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
   <td>120</td> 
   <td>及格</td> 
  </tr> 
  <tr> 
   <th>赵六</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
   <td>76</td> 
   <td>不及格</td> 
  </tr> 
 </tbody> 
</table>

transform()和map()类似

df['score1'] = df['英语'].transform(convert)

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>及格与否</th> 
   <th>python</th> 
   <th>score</th> 
   <th>score1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>张三</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
   <td>172</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>李四</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
   <td>194</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>王五</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
   <td>120</td> 
   <td>及格</td> 
   <td>及格</td> 
  </tr> 
  <tr> 
   <th>赵六</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
   <td>76</td> 
   <td>不及格</td> 
   <td>不及格</td> 
  </tr> 
 </tbody> 
</table>

使用map()函数新建一个新列

============================================

练习20：

新增两列，分别为张三、李四的成绩状态，如果分数低于90，则为"failed"，如果分数高于120，则为"excellent"，其他则为"pass"
    
    【提示】使用函数作为map的参数

============================================

### 3) rename()函数：替换索引 ###

仍然是新建一个字典

mapping = { '语文': 'Chinese', '数学': 'Math', '英语': 'English'}
    df.rename(mapping, axis=1)

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>Chinese</th> 
   <th>Math</th> 
   <th>English</th> 
   <th>理综</th> 
   <th>及格与否</th> 
   <th>python</th> 
   <th>score</th> 
   <th>score1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>张三</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
   <td>172</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>李四</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
   <td>194</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>王五</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
   <td>120</td> 
   <td>及格</td> 
   <td>及格</td> 
  </tr> 
  <tr> 
   <th>赵六</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
   <td>76</td> 
   <td>不及格</td> 
   <td>不及格</td> 
  </tr> 
 </tbody> 
</table>

df.rename(columns=mapping)

df.rename(index={ '张三': 'Mr Zhang', '李四': 'Mr Lee', '王五': 'Lao Wang', '赵六': 'Mr Six'})

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>及格与否</th> 
   <th>python</th> 
   <th>score</th> 
   <th>score1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>Mr Zhang</th> 
   <td>150.0</td> 
   <td>143</td> 
   <td>86</td> 
   <td>243</td> 
   <td>True</td> 
   <td>172</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>Mr Lee</th> 
   <td>150.0</td> 
   <td>124</td> 
   <td>97</td> 
   <td>254</td> 
   <td>True</td> 
   <td>194</td> 
   <td>优秀</td> 
   <td>优秀</td> 
  </tr> 
  <tr> 
   <th>Lao Wang</th> 
   <td>111.0</td> 
   <td>137</td> 
   <td>60</td> 
   <td>237</td> 
   <td>True</td> 
   <td>120</td> 
   <td>及格</td> 
   <td>及格</td> 
  </tr> 
  <tr> 
   <th>Mr Six</th> 
   <td>125.0</td> 
   <td>117</td> 
   <td>38</td> 
   <td>217</td> 
   <td>False</td> 
   <td>76</td> 
   <td>不及格</td> 
   <td>不及格</td> 
  </tr> 
 </tbody> 
</table>

使用rename()函数替换行索引

## 3. 异常值检测和过滤 ##

使用describe()函数查看每一列的描述性统计量

df.describe()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>语文</th> 
   <th>数学</th> 
   <th>英语</th> 
   <th>理综</th> 
   <th>python</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>count</th> 
   <td>4.00000</td> 
   <td>4.000000</td> 
   <td>4.000000</td> 
   <td>4.00000</td> 
   <td>4.000000</td> 
  </tr> 
  <tr> 
   <th>mean</th> 
   <td>134.00000</td> 
   <td>130.250000</td> 
   <td>70.250000</td> 
   <td>237.75000</td> 
   <td>140.500000</td> 
  </tr> 
  <tr> 
   <th>std</th> 
   <td>19.33908</td> 
   <td>11.870833</td> 
   <td>26.512576</td> 
   <td>15.52149</td> 
   <td>53.025151</td> 
  </tr> 
  <tr> 
   <th>min</th> 
   <td>111.00000</td> 
   <td>117.000000</td> 
   <td>38.000000</td> 
   <td>217.00000</td> 
   <td>76.000000</td> 
  </tr> 
  <tr> 
   <th>25%</th> 
   <td>121.50000</td> 
   <td>122.250000</td> 
   <td>54.500000</td> 
   <td>232.00000</td> 
   <td>109.000000</td> 
  </tr> 
  <tr> 
   <th>50%</th> 
   <td>137.50000</td> 
   <td>130.500000</td> 
   <td>73.000000</td> 
   <td>240.00000</td> 
   <td>146.000000</td> 
  </tr> 
  <tr> 
   <th>75%</th> 
   <td>150.00000</td> 
   <td>138.500000</td> 
   <td>88.750000</td> 
   <td>245.75000</td> 
   <td>177.500000</td> 
  </tr> 
  <tr> 
   <th>max</th> 
   <td>150.00000</td> 
   <td>143.000000</td> 
   <td>97.000000</td> 
   <td>254.00000</td> 
   <td>194.000000</td> 
  </tr> 
 </tbody> 
</table>

使用std()函数可以求得DataFrame对象每一列的标准差

根据每一列的标准差，对DataFrame元素进行过滤。

借助any()函数, 测试是否有True，有一个或以上返回True，反之返回False

对每一列应用筛选条件,去除标准差太大的数据

删除特定索引df.drop(labels,inplace = True)

============================================

练习21：

新建一个形状为10000*3的标准正态分布的DataFrame(np.random.randn)，去除掉所有满足以下情况的行：其中任一元素绝对值大于3倍标准差

============================================

异常值的检测一定要有一个标准.具体的标准要根据具体业务来分析.

df = DataFrame(data=np.random.randn(10000,3))
    df.head()

df.std()

0    1.002128
    1    0.991692
    2    1.002605
    dtype: float64

df[~(df.abs() > 3 * df.std()).any(axis=1)]

9930 rows × 3 columns

1, 先指定异常值检测的标准. <绝对值大于三倍的标准偏差>
    2, 把标准写成一个条件.   <df.abs() > 3 * df.std()>
    3, 再看是过滤行还是列.  (df.abs() > 3 * df.std()).any(axis=1)
    4, 最后再通过中括号中写条件写法把异常值过滤掉.

## 4. 抽样 ##

使用.take()函数排序

可以借助np.random.permutation()函数随机排序

df.take([3,2,1,0])

df.take([2,1,0], axis=1)

### 随机抽样 ###

# 无放回抽样
    np.random.permutation([0,1,2,3])

array([0, 3, 1, 2])

# permutation和take结合可以实现无放回抽样
    df.take(np.random.permutation([0,1,2,3]))

当DataFrame规模足够大时，直接使用np.random.randint()函数，就配合take()函数实现随机抽样

# 有放回抽样
    # np.random.randint和take结合实现有放回抽样
    df.take(np.random.randint(0,4, size=4))

============================================  
练习22：

假设有张三李四王老五的期中考试成绩ddd2，对着三名同学随机排序

============================================

# 无放回抽样
    df.take(np.random.permutation([0,1,2,3])[:3])

# 有放回抽样
    df.take(np.random.randint(0,4, size=4)[:3])

## 5. 数据聚合【重点】 ##

数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。

数据分类处理：

*  分组：先把数据分为几组
 *  用函数处理：为不同组的数据应用不同的函数以转换数据
 *  合并：把不同组得到的结果合并起来

数据分类处理的核心：  
groupby()函数

如果想使用color列索引，计算price1的均值，可以先获取到price1列，然后再调用groupby函数，用参数指定color这一列

df = DataFrame({ 'color':['red','white','red','cyan','cyan','green','white','cyan'],
                    'price':np.random.randint(0,8,size = 8),
                    'weight':np.random.randint(50,55,size = 8)})
    df

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>color</th> 
   <th>price</th> 
   <th>weight</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>red</td> 
   <td>3</td> 
   <td>54</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>white</td> 
   <td>3</td> 
   <td>51</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>red</td> 
   <td>6</td> 
   <td>50</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>cyan</td> 
   <td>3</td> 
   <td>50</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>cyan</td> 
   <td>0</td> 
   <td>53</td> 
  </tr> 
  <tr> 
   <th>5</th> 
   <td>green</td> 
   <td>6</td> 
   <td>51</td> 
  </tr> 
  <tr> 
   <th>6</th> 
   <td>white</td> 
   <td>5</td> 
   <td>52</td> 
  </tr> 
  <tr> 
   <th>7</th> 
   <td>cyan</td> 
   <td>0</td> 
   <td>50</td> 
  </tr> 
 </tbody> 
</table>

df.groupby(by='color')

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000000001145F710>

使用.groups属性查看各行的分组情况：

df.groupby(by='color').groups

{'cyan': Int64Index([3, 4, 7], dtype='int64'),
     'green': Int64Index([5], dtype='int64'),
     'red': Int64Index([0, 2], dtype='int64'),
     'white': Int64Index([1, 6], dtype='int64')}

# 分组之后 进行聚合
    # 先聚合再取值
    df.groupby(by='color').sum()[['price']]

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>price</th> 
  </tr> 
  <tr> 
   <th>color</th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>cyan</th> 
   <td>3</td> 
  </tr> 
  <tr> 
   <th>green</th> 
   <td>6</td> 
  </tr> 
  <tr> 
   <th>red</th> 
   <td>9</td> 
  </tr> 
  <tr> 
   <th>white</th> 
   <td>8</td> 
  </tr> 
 </tbody> 
</table>

# 先取值,再聚合 推荐写法.
    price_sum = df.groupby(by='color')[['price']].sum()

df.merge(price_sum, left_on='color', right_index=True, suffixes=['', '_sum'])

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>color</th> 
   <th>price</th> 
   <th>weight</th> 
   <th>price_sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>red</td> 
   <td>3</td> 
   <td>54</td> 
   <td>9</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>red</td> 
   <td>6</td> 
   <td>50</td> 
   <td>9</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>white</td> 
   <td>3</td> 
   <td>51</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <th>6</th> 
   <td>white</td> 
   <td>5</td> 
   <td>52</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>cyan</td> 
   <td>3</td> 
   <td>50</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>cyan</td> 
   <td>0</td> 
   <td>53</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <th>7</th> 
   <td>cyan</td> 
   <td>0</td> 
   <td>50</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <th>5</th> 
   <td>green</td> 
   <td>6</td> 
   <td>51</td> 
   <td>6</td> 
  </tr> 
 </tbody> 
</table>

数据聚合的步骤  
  
1, 分组, 找到分组的列  
  
2, 聚合, 执行聚合操作,sum, mean, max, min  
  
3, 合并, 把聚合的结果合并到原始表中.

============================================

练习23：

假设菜市场张大妈在卖菜，有以下属性：

菜品(item)：萝卜，白菜，辣椒，冬瓜

颜色(color)：白，青，红

重量(weight)

价格(price)

1.  要求以属性作为列索引，新建一个ddd
2.  对ddd进行聚合操作，求出颜色为白色的价格总和
3.  对ddd进行聚合操作，求出萝卜的所有重量(包括白萝卜，胡萝卜，青萝卜）以及平均价格
4.  使用merge合并总重量及平均价格

============================================

ddd = DataFrame({ 'item': ['萝卜', '萝卜','萝卜', '白菜', '白菜','辣椒','辣椒','辣椒', '冬瓜', '冬瓜'], 
                              'color': ['白', '红', '青', '青', '白', '青', '红', '白',  '青', '白'],
                              'weight': [60, 70, 40, 50, 60, 100, 80, 20, 200, 150],
                              'price': [2.68, 3.98, 4.98, 1.28, 1.58, 7.98, 8.88, 12.28, 1.28, 1.58]
                              })
    ddd

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>item</th> 
   <th>color</th> 
   <th>weight</th> 
   <th>price</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>萝卜</td> 
   <td>白</td> 
   <td>60</td> 
   <td>2.68</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>萝卜</td> 
   <td>红</td> 
   <td>70</td> 
   <td>3.98</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>萝卜</td> 
   <td>青</td> 
   <td>40</td> 
   <td>4.98</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>白菜</td> 
   <td>青</td> 
   <td>50</td> 
   <td>1.28</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>白菜</td> 
   <td>白</td> 
   <td>60</td> 
   <td>1.58</td> 
  </tr> 
  <tr> 
   <th>5</th> 
   <td>辣椒</td> 
   <td>青</td> 
   <td>100</td> 
   <td>7.98</td> 
  </tr> 
  <tr> 
   <th>6</th> 
   <td>辣椒</td> 
   <td>红</td> 
   <td>80</td> 
   <td>8.88</td> 
  </tr> 
  <tr> 
   <th>7</th> 
   <td>辣椒</td> 
   <td>白</td> 
   <td>20</td> 
   <td>12.28</td> 
  </tr> 
  <tr> 
   <th>8</th> 
   <td>冬瓜</td> 
   <td>青</td> 
   <td>200</td> 
   <td>1.28</td> 
  </tr> 
  <tr> 
   <th>9</th> 
   <td>冬瓜</td> 
   <td>白</td> 
   <td>150</td> 
   <td>1.58</td> 
  </tr> 
 </tbody> 
</table>

ddd.groupby(by='color')[['price']].sum()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>price</th> 
  </tr> 
  <tr> 
   <th>color</th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>白</th> 
   <td>18.12</td> 
  </tr> 
  <tr> 
   <th>红</th> 
   <td>12.86</td> 
  </tr> 
  <tr> 
   <th>青</th> 
   <td>15.52</td> 
  </tr> 
 </tbody> 
</table>

weight_sum = ddd.groupby(by='item')[['weight']].sum()

price_mean = ddd.groupby(by='item')[['price']].mean()
    price_mean

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>price</th> 
  </tr> 
  <tr> 
   <th>item</th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>冬瓜</th> 
   <td>1.430000</td> 
  </tr> 
  <tr> 
   <th>白菜</th> 
   <td>1.430000</td> 
  </tr> 
  <tr> 
   <th>萝卜</th> 
   <td>3.880000</td> 
  </tr> 
  <tr> 
   <th>辣椒</th> 
   <td>9.713333</td> 
  </tr> 
 </tbody> 
</table>

ddd = ddd.merge(weight_sum, left_on='item', right_index=True, suffixes=['', '_sum'])

ddd.merge(price_mean, left_on='item', right_index=True, suffixes=['', '_mean'])

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>item</th> 
   <th>color</th> 
   <th>weight</th> 
   <th>price</th> 
   <th>weight_sum</th> 
   <th>price_mean</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>萝卜</td> 
   <td>白</td> 
   <td>60</td> 
   <td>2.68</td> 
   <td>170</td> 
   <td>3.880000</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>萝卜</td> 
   <td>红</td> 
   <td>70</td> 
   <td>3.98</td> 
   <td>170</td> 
   <td>3.880000</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>萝卜</td> 
   <td>青</td> 
   <td>40</td> 
   <td>4.98</td> 
   <td>170</td> 
   <td>3.880000</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>白菜</td> 
   <td>青</td> 
   <td>50</td> 
   <td>1.28</td> 
   <td>110</td> 
   <td>1.430000</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>白菜</td> 
   <td>白</td> 
   <td>60</td> 
   <td>1.58</td> 
   <td>110</td> 
   <td>1.430000</td> 
  </tr> 
  <tr> 
   <th>5</th> 
   <td>辣椒</td> 
   <td>青</td> 
   <td>100</td> 
   <td>7.98</td> 
   <td>200</td> 
   <td>9.713333</td> 
  </tr> 
  <tr> 
   <th>6</th> 
   <td>辣椒</td> 
   <td>红</td> 
   <td>80</td> 
   <td>8.88</td> 
   <td>200</td> 
   <td>9.713333</td> 
  </tr> 
  <tr> 
   <th>7</th> 
   <td>辣椒</td> 
   <td>白</td> 
   <td>20</td> 
   <td>12.28</td> 
   <td>200</td> 
   <td>9.713333</td> 
  </tr> 
  <tr> 
   <th>8</th> 
   <td>冬瓜</td> 
   <td>青</td> 
   <td>200</td> 
   <td>1.28</td> 
   <td>350</td> 
   <td>1.430000</td> 
  </tr> 
  <tr> 
   <th>9</th> 
   <td>冬瓜</td> 
   <td>白</td> 
   <td>150</td> 
   <td>1.58</td> 
   <td>350</td> 
   <td>1.430000</td> 
  </tr> 
 </tbody> 
</table>

## 6.0 高级数据聚合 ##

可以使用pd.merge()函数将聚合操作的计算结果添加到df的每一行  
使用groupby分组后调用加和等函数进行运算，让后最后可以调用add\_prefix()，来修改列名

price_mean = price_mean.add_prefix('mean_')

# 添加后缀
    price_mean = price_mean.add_suffix('_mean')

ddd.merge(price_mean, left_on='item', right_index=True)

### 可以使用transform和apply实现相同功能 ###

在transform或者apply中传入函数即可

ddd.groupby(by='item').transform(sum)

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>color</th> 
   <th>weight</th> 
   <th>price</th> 
   <th>weight_sum</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>0</th> 
   <td>白红青</td> 
   <td>170</td> 
   <td>11.64</td> 
   <td>510</td> 
  </tr> 
  <tr> 
   <th>1</th> 
   <td>白红青</td> 
   <td>170</td> 
   <td>11.64</td> 
   <td>510</td> 
  </tr> 
  <tr> 
   <th>2</th> 
   <td>白红青</td> 
   <td>170</td> 
   <td>11.64</td> 
   <td>510</td> 
  </tr> 
  <tr> 
   <th>3</th> 
   <td>青白</td> 
   <td>110</td> 
   <td>2.86</td> 
   <td>220</td> 
  </tr> 
  <tr> 
   <th>4</th> 
   <td>青白</td> 
   <td>110</td> 
   <td>2.86</td> 
   <td>220</td> 
  </tr> 
  <tr> 
   <th>5</th> 
   <td>青红白</td> 
   <td>200</td> 
   <td>29.14</td> 
   <td>600</td> 
  </tr> 
  <tr> 
   <th>6</th> 
   <td>青红白</td> 
   <td>200</td> 
   <td>29.14</td> 
   <td>600</td> 
  </tr> 
  <tr> 
   <th>7</th> 
   <td>青红白</td> 
   <td>200</td> 
   <td>29.14</td> 
   <td>600</td> 
  </tr> 
  <tr> 
   <th>8</th> 
   <td>青白</td> 
   <td>350</td> 
   <td>2.86</td> 
   <td>700</td> 
  </tr> 
  <tr> 
   <th>9</th> 
   <td>青白</td> 
   <td>350</td> 
   <td>2.86</td> 
   <td>700</td> 
  </tr> 
 </tbody> 
</table>

ddd.groupby(by='item').apply(sum)

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>item</th> 
   <th>color</th> 
   <th>weight</th> 
   <th>price</th> 
   <th>weight_sum</th> 
  </tr> 
  <tr> 
   <th>item</th> 
   <th></th> 
   <th></th> 
   <th></th> 
   <th></th> 
   <th></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <th>冬瓜</th> 
   <td>冬瓜冬瓜</td> 
   <td>青白</td> 
   <td>350</td> 
   <td>2.86</td> 
   <td>700</td> 
  </tr> 
  <tr> 
   <th>白菜</th> 
   <td>白菜白菜</td> 
   <td>青白</td> 
   <td>110</td> 
   <td>2.86</td> 
   <td>220</td> 
  </tr> 
  <tr> 
   <th>萝卜</th> 
   <td>萝卜萝卜萝卜</td> 
   <td>白红青</td> 
   <td>170</td> 
   <td>11.64</td> 
   <td>510</td> 
  </tr> 
  <tr> 
   <th>辣椒</th> 
   <td>辣椒辣椒辣椒</td> 
   <td>青红白</td> 
   <td>200</td> 
   <td>29.14</td> 
   <td>600</td> 
  </tr> 
 </tbody> 
</table>

============================================

练习24：

使用transform与apply实现练习23的功能

============================================

[pandas]: https://blog.csdn.net/zly717216/article/details/120751612
[pandas 1]: https://blog.csdn.net/zly717216/article/details/120750987