python数据清洗学习笔记--数据转换

分手后的思念是犯贱 2023-07-22 02:43 4阅读 0赞

# python数据清洗学习笔记–数据转换 #

### 目录 ###

*  python数据清洗学习笔记--数据转换
 *   *  1、日期格式数据处理
     *  2、字符串数据处理
     *  3、高阶函数数据处理

## 1、日期格式数据处理 ##

• Pandas中使用to\_datetime()方法将文本格式转换为日期格式

• dataframe数据类型如果为datetime64,可以使用dt方法取出年月日等

• 对于时间差数据,可以使用timedelta函数将其转换为指定时间单位的数值

• 时间差数据,可以使用dt方法访问其常用属性

sec_cars['Boarding_time'] = pd.to_datetime(sec_cars['Boarding_time'] ) 
    sec_cars['diff_day'] = pd.datetime.today() - sec_cars['Boarding_time’] 
    sec_cars['Boarding_time’].dt.year 
    sec_cars['diff_day’]/pd.Timedelta(‘1 hour’) 
    Timedelta.dt.days
    
    # 对购买日期进行转换
    df['buy_date'] = pd.to_datetime(df['day'],format='%Y%m%d',errors = 'coerce')
    #加errors防止报错
    
    # 可以提取对应年月日,必须为timestamp才可以，具体的时间点
    df['buy_date'].dt.year.head(5)

## 2、字符串数据处理 ##

• Pandas中提供了字符串的函数,但只能对字符型变量进行使用

• 通过str方法访问相关属性

• 可以使用字符串的相关方法进行数据处理

<table> 
 <thead> 
  <tr> 
   <th>函数名称</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>contains()</td> 
   <td>返回表示各str是否含有指定模式的字符串</td> 
  </tr> 
  <tr> 
   <td>replace()</td> 
   <td>替换字符串</td> 
  </tr> 
  <tr> 
   <td>lower()</td> 
   <td>返回字符串的副本，其中所有字母都转换为小写</td> 
  </tr> 
  <tr> 
   <td>upper()</td> 
   <td>返回字符串的副本，其中所有字母都转换为大写</td> 
  </tr> 
  <tr> 
   <td>split()</td> 
   <td>返回字符串中的单词列表</td> 
  </tr> 
  <tr> 
   <td>strip()</td> 
   <td>删除前导和后置空格</td> 
  </tr> 
  <tr> 
   <td>join()</td> 
   <td>返回一个字符串，该字符串是给定序列中所有字符串的连接</td> 
  </tr> 
 </tbody> 
</table>

## 3、高阶函数数据处理 ##

• 在dataframe中使用apply方法，调用自定义函数对数据进行处理

• 函数apply, axis=0表示对行进行操作,axis=1表示对列进行操作

• 可以使用astype函数对数据进行转换

• 可以使用map函数进行数据转换

f1 = lambda x: str(x).strip() and str(x).replace(',',‘’) 
    farmer_loan['贷款余额'] = farmer_loan['贷款余额'].apply(f1) 
    farmer_loan['贷款发放金额'] = farmer_loan['贷款发放金额'].astype(float) 
    farmer_loan['ID'] = farmer_loan['户主身份证号'].apply(lambda  x: x[0:3])

#使用map函数
    df2['性别'] = df2['gender'].map({ '0':'女','1':'男','2':'未知'})
    
    #结合lambda替换
    df2['user_id'].apply(lambda x: x.replace(x[1:3],'**')).head(5)
    
    #提取年份
    df2['birthday'].apply(lambda x: str(x)[0:4]).head(5)

#定义函数
    def f(x):
        if '0' in x:
            return '女'
        elif '1' in x :
            return '男'
        else:
            return '未知'
    
    # 0代表女，1代表男，2代表未知
    df2['性别'] = df2['gender'].apply(f)

***记录自：python数据清洗实战：Peter老师***