pandas分组后应用apply函数

秒速五厘米 2023-02-26 13:25 5阅读 0赞

### pandas分组后应用apply函数 ###

知识：Pandas的GroupBy遵从split、apply、combine模  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70_pic_center]  
这里的split指的是pandas的groupby，我们自己实现apply函数，apply返回的结果由pandas进行combine得到结果

**GroupBy.apply(function)**  
function的第一个参数是dataframe  
function的返回结果，可是dataframe、series、单个值，甚至和输入dataframe完全没关系

### 怎样对数值列按分组的归一化？ ###

将不同范围的数值列进行归一化，映射到\[0,1\]区间：

更容易做数据横向对比，比如价格字段是几百到几千，增幅字段是0到100  
机器学习模型学的更快性能更好  
归一化的公式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70_pic_center 1]  
（当前值-最小值）/（最大值-最小值）

import pandas as pd
    
    # 用户评分表
    df_ratings = pd.read_csv(
        "./pandas/ant-learn-pandas/datas/movielens-1m/ratings.dat",
        sep="::",
        engine="python",
        names="UserID::MovieID::Rating::Timestamp".split("::")
    )
    print(df_ratings.head())
    
    
    # 用户对电影评分的归一化
    # 实现按照用户ID分组，然后对其中一列归一化
    def ratings_norm(df):
        """ @param df：每个用户分组的dataframe """
        min_value = df["Rating"].min()
        max_value = df["Rating"].max()
        df["Rating_norm"] = df["Rating"].apply(
            lambda x: (x - min_value) / (max_value - min_value))
        return df
    
    
    ratings = df_ratings.groupby("UserID").apply(ratings_norm)
    res = ratings[ratings["UserID"] == 1].head()
    print(res)
    ''' UserID MovieID Rating Timestamp Rating_norm 0 1 1193 5 978300760 1.0 1 1 661 3 978302109 0.0 2 1 914 3 978301968 0.0 3 1 3408 4 978300275 0.5 4 1 2355 5 978824291 1.0 '''

# 获取2018年每个月温度最高的2天数据
    df = pd.read_csv("./pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv", engine='python',
                     encoding='utf-8')
    print(df.head())
    # 替换掉温度的后缀℃
    df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype('int32')
    df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃", "").astype('int32')
    # 新增一列为月份
    df['month'] = df['ymd'].str[:7]
    
    
    def getWenduTopN(df, topn):
        """ 这里的df，是每个月份分组group的df """
        # 根据最高温度排序，取日期和温度，默认是升序，所以取最后两个
        return df.sort_values(by="bWendu")[["ymd", "bWendu"]][-topn:]
    
    
    # 根据月份分组
    res2 = df.groupby("month").apply(getWenduTopN, topn=2).head()
    print(res2)
    ''' ymd bWendu month 2018-01 13 2018-01-14 6 18 2018-01-19 7 2018-02 53 2018-02-23 10 56 2018-02-26 12 2018-03 86 2018-03-28 25 '''

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20230209/502fd502a34c4400b00f2070f7c43db8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230209/6f3507f84d5e4e178bde4b02252719c6.png