15种Pandas提取数据方法，统统只需1行代码，真香！

落日映苍穹つ 2023-01-08 11:25 140阅读 0赞

![format_png][]

pandas是python数据分析必备工具，它有强大的数据清洗能力，往往能用非常少的代码实现较复杂的数据处理

今天，总结了pandas筛选数据的15个常用技巧，主要包括5个知识点：

1.比较运算：==、<、>、>=、<=、!=
    2.范围运算：between(left,right)
    3.字符筛选:str.contains(pattern或字符串,na=False)
    4.逻辑运算：&（与）、|（或）、not(取反)
    5.比较函数：eq, ne, le, lt, ge, gt（相当于==,=!，<=，<，>=，>）
    6.apply和isin函数

下面以超市运营数据为例，给大家逐个讲解

长按识别下方二维码，并关注公众号

![format_png 1][]

回复“**SXSJ**”获取案例数据

首先读取数据：

import pandas as pd
    data=pd.read_excel('超市运营数据模板.xlsx')
    data

![format_png 2][]

先看一下各列的数据类型：

data.dtypes

商品ID             int64
    类别ID             int64
    门店编号            object
    单价             float64
    销量             float64
    订单ID            object
    日期      datetime64[ns]
    时间              object
    dtype: object

下面以实际应用场景为例开始讲解：

## 1.筛选门店编号为'CDXL'的运营数据 ##

### ①第一种方法，用比较运算符‘==’： ###

data[data.门店编号=='CDXL']

###  ###

![format_png 3][]

### ②第二种方法，用比较函数'eq'：    ###

data[data['门店编号'].eq('CDXL')]

![format_png 4][]

## 2.筛选单价小于等于10元的运营数据 ##

### ③第一种方法，用比较运算符‘<=’: ###

data[data.单价<=10]

###  ###

![format_png 5][]

### ④第二种方法，用比较函数'le'：    ###

data[data['单价'].le(10)]

![format_png 6][]

## 3.筛选销量大于2000的运营数据    ##

### ⑤第一种方法，用比较运算符‘>=’: ###

data[data.销量>2]

###  ###

![format_png 7][]

### ⑥第二种方法，用比较函数'ge'：    ###

data[data['销量'].ge(2)]

![format_png 7][]

## 4.筛选除门店'CDXL'外的运营数据    ##

### ⑦第一种方法，用比较运算符‘!=’: ###

data[data.门店编号!='CDXL']

###  ###

![format_png 8][]

### ⑧第二种方法，用比较函数'ne':    ###

data[data['门店编号'].ne('CDXL')]

##  ##

![format_png 9][]

## 5.筛选2020年5月的运营数据    ##

首先将日期格式化：

data['日期']=data["日期"].values.astype('datetime64')  #如果已为日期格式则此步骤可省略
    data['日期']

import datetime
    s_date = datetime.datetime.strptime('2020-04-30', '%Y-%m-%d').date()  #起始日期
    e_date = datetime.datetime.strptime('2020-06-01', '%Y-%m-%d').date()  #结束日期

### ⑨第一种方法，用逻辑运算符号'>' '<'和'&'： ###

Pandasdatetime64\[ns\]不能直接与datetime.date相比，需要用pd.Timestamp进行转化

data[(data.日期>pd.Timestamp(s_date))&(data.日期<pd.Timestamp(e_date))]

###  ###

![format_png 10][]

### ⑩第二种，用比较函数'gt''lt'和'&':    ###

data[(data['日期'].lt(pd.Timestamp(e_date)))&(data['日期'].gt(pd.Timestamp(s_date)))]

###  ###

![format_png 11][]

### ⑪第三种，用apply函数实现:    ###

id_a=data.日期.apply(lambda x: x.year ==2020  and x.month==5)
    data[id_a]

![format_png 12][]

### ⑫第四种，用between函数实现:    ###

id_b=data.日期.between(pd.Timestamp(s_date),pd.Timestamp(e_date))
    data[id_b]

##  ##

![format_png 13][]

## 6.筛选“类别ID”包含'000'的数据    ##

### ⑬第一种，用contains函数： ###

data['类别ID']=data['类别ID'].values.astype('str')  #将该列转换为字符数据类型
    id_c=data.类别ID.str.contains('000',na=False)
    data[id_c]

###  ###

![format_png 14][]

### ⑭第二种，用isin函数：    ###

id_i=data.类别ID.isin(['000'])  #接受一个列表
    data[id_i]

很遗憾，isin函数搞不定，因为它只能判断该列中元素是否在列表中

## 7.筛选商品ID以“301”开头的运营数据 ##

### ⑮需要用contains函数结合正则表达式使用： ###

data['商品ID']=data['商品ID'].values.astype('str')  #将该列转换为字符数据类型
    id_c2=data.商品ID.str.contains('301\d{5}',na=False)
    data[id_c2]

![format_png 14][]

- END -
    本文为转载分享&推荐阅读，若侵权请联系后台删除
    -----------------
    长按识别下方二维码，并关注公众号
    
    1.回复“PY”领取1GB Python数据分析资料
    
    2.回复“BG”领取3GB 名企数据分析报告

[format_png]: /images/20221119/46e5c4ea73d94d1b94f2c4c0523f582e.png
[format_png 1]: /images/20221119/20fab97862d94263bfbed1b0a0232df6.png
[format_png 2]: /images/20221119/395136ac56674267bbe0e587a7024de7.png
[format_png 3]: /images/20221119/3c537dc2b03047f8bbc410a08dad3342.png
[format_png 4]: /images/20221119/df087e6908e8417e967d240a069433e7.png
[format_png 5]: /images/20221119/3a6922cb5de049d491e4c9085017adca.png
[format_png 6]: /images/20221119/d180b34c16a24108b6087917411e509a.png
[format_png 7]: /images/20221119/2b84c411bee144049ec4db8a7b71f43b.png
[format_png 8]: /images/20221119/859e2cc901f249988c20e3a2b933678b.png
[format_png 9]: /images/20221119/04beb0065ad349b6ba07c558bfb8aefa.png
[format_png 10]: /images/20221119/096692dbc0a242deb8f151e57eea8076.png
[format_png 11]: /images/20221119/62d0b0336aef4009be556b142ac66451.png
[format_png 12]: /images/20221119/cc1df97fb6b347e98f3520de97a4ae5a.png
[format_png 13]: /images/20221119/6bab5f3f65544b55923356c660302208.png
[format_png 14]: /images/20221119/b29e4518e67940729f61747cb5f5532b.png