pandas处理日期数据，日期查询日期缺失处理

怼烎@ 2023-02-27 10:34 18阅读 0赞

### Pandas怎样快捷方便的处理日期数据 ###

Pandas日期处理的作用：将2018-01-01、1/1/2018等多种日期格式映射成统一的格式对象，在该对象上提供强大的功能支持

几个概念：

**pd.to\_datetime**：pandas的一个函数，能将字符串、列表、series变成日期形式  
**Timestamp**：pandas表示日期的对象形式  
**DatetimeIndex**：pandas表示日期的对象列表形式  
其中：

DatetimeIndex是Timestamp的列表形式  
pd.to\_datetime对单个日期字符串处理会得到Timestamp  
pd.to\_datetime对日期字符串列表

import pandas as pd
    
    fpath = "./pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv"
    df = pd.read_csv(fpath, engine="python", encoding="utf8")
    # 替换掉温度的后缀℃
    df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype('int32')
    df.loc[:, "yWendu"] = df["yWendu"].str.replace("℃", "").astype('int32')
    print(df.head())

### 将日期列转换成pandas的日期 ###

# 将日期列转换成pandas的日期
    df.set_index(pd.to_datetime(df["ymd"]), inplace=True)
    print(df.head())
    
    # DatetimeIndex是Timestamp的列表形式
    print(df.index[0])
    
    # DatetimeIndex查询
    # 筛选固定的某一天
    res = df.loc['2018-01-05']
    print(res)
    ''' ymd 2018-01-05 bWendu 3 yWendu -6 tianqi 多云~晴 fengxiang 西北风 fengli 1-2级 aqi 50 aqiInfo 优 aqiLevel 1 '''

### 日期区间 ###

# 日期区间
    res2 = df.loc['2018-01-05':'2018-01-10']
    print(res2)

### 按月份前缀筛选 ###

# 按月份前缀筛选
    res3 = df.loc['2018-03']

### 按月份前缀筛选 ###

# 按月份前缀筛选
    res4 = df.loc["2018-07":"2018-09"].index

### 按年份前缀筛选 ###

# 按年份前缀筛选
    res5 = df.loc["2018"].head()

### 获取周、月、季度 ###

# 获取周、月、季度
    # 周数字列表
    res6 = df.index.week
    
    # 月数字列表
    res7 = df.index.month
    
    # 季度数字列表
    res8 = df.index.quarter

### 统计每周、每月、每个季度的最高温度 ###

# 统计每周、每月、每个季度的最高温度
    res9 = df.groupby(df.index.week)["bWendu"].max().head()
    print(res9)
    ''' ymd 1 3 2 6 3 7 4 -1 5 4 '''
    # 统计每个月的数据
    res10 = df.groupby(df.index.month)["bWendu"].max()
    
    # 统计每个季度的数据
    res11 = df.groupby(df.index.quarter)["bWendu"].max

### 缺失时间索引的填充 ###

# 缺失时间索引的填充
    df = pd.DataFrame({ 
        "pdate": ["2019-12-01", "2019-12-02", "2019-12-04", "2019-12-05"],
        "pv": [100, 200, 400, 500],
        "uv": [10, 20, 40, 50],
    })
    print(df)

### 方法1：使用pandas.reindex方法 ###

# 方法1：使用pandas.reindex方法
    # 设置索引
    df_date = df.set_index("pdate")
    # 将df的索引设置为日期索引
    df_date = df_date.set_index(pd.to_datetime(df_date.index))
    
    print(df_date)
    
    # 使用pandas.reindex填充缺失的索引
    # 生成完整的日期序列
    pdates = pd.date_range(start="2019-12-01", end="2019-12-05")
    print(pdates)
    ''' DatetimeIndex(['2019-12-01', '2019-12-02', '2019-12-03', '2019-12-04', '2019-12-05'], dtype='datetime64[ns]', freq='D') '''
    
    # 填充缺失索引，并填充默认值
    df_date_new = df_date.reindex(pdates, fill_value=0)
    print(df_date_new)

### 方法2：使用pandas.resample方法 ###

**resample的含义**：  
改变数据的时间频率，比如把天数据变成月份，或者把小时数据变成分钟级别

**resample的语法**：  
(DataFrame or Series).resample(arguments).(aggregate function)

**resample的采样规则参数**：  
[官方文档][Link 1]

# 方法2：使用pandas.resample方法
    # 先将索引变成日期索引，并删除原先得pdate一列
    df_new2 = df.set_index(pd.to_datetime(df["pdate"])).drop("pdate", axis=1)
    # 使用dataframe的resample的方法按照天重采样
    # 由于采样会让区间变成一个值，所以需要指定mean等采样值的设定方法
    df_new2 = df_new2.resample("D").mean().fillna(0)
    print(df_new2)
    ''' pv uv pdate 2019-12-01 100.0 10.0 2019-12-02 200.0 20.0 2019-12-03 0.0 0.0 2019-12-04 400.0 40.0 2019-12-05 500.0 50.0 '''
    
    # resample的使用方式（2D每隔两天，pv/uv是两天得平均值）
    res12 = df_new2.resample("2D").mean()
    print(res12)
    ''' pv uv pdate 2019-12-01 150.0 15.0 2019-12-03 200.0 20.0 2019-12-05 500.0 50.0 '''

[Link 1]: https://pandas.pydata.org/pandas-docs/stable/user_guide/timeseries.html#offset-aliases