超全的pandas数据分析常用函数总结：上篇

悠悠 2023-07-20 10:38 45阅读 0赞

↑ 关注 + 星标 ~ 有趣的不像个技术号

每晚九点，我们准时相约  ![format_png][]

![format_png 1][]

大家好，我是雅痞绅士JM![format_png 2][]

基础知识在数据分析中就像是九阳神功，熟练的掌握，加以运用，就可以练就深厚的内力，成为绝顶高手自然不在话下！

为了更好地学习数据分析，我对于数据分析中pandas这一模块里面常用的函数进行了总结。整篇总结，在详尽且通俗易懂的基础上，我力求使其有很强的条理性和逻辑性，所以制作了思维导图，对于每一个值得深究的函数用法，我也会附上官方链接，方便大家继续深入学习。

文章中的所有代码都会有讲解和注释，绝大部分也都会配有运行结果，这样的话，整篇总结篇幅量自然不小，所以我分成了上下两篇，这里是上篇，下篇在次条。

## 1. 导入模块 ##

import pandas as pd      # 这里用到的是pandas和numpy两个模块
    import numpy as np

## 2. 创建数据集并读取 ##

**2.1 创建数据集**

我构造了一个超市购物的数据集，该数据集属性包括：订单ID号（id）、订单日期（date）、消费金额（money）、订单商品（product）、商品类别（department）、商品产地（origin）。

# 列表和字典均可传入DataFrame，我这里用的是字典传入：
    data=pd.DataFrame({
        "id":np.arange(101,111),                                # np.arange会自动输出范围内的数据，这里会输出101~110的id号。
        "date":pd.date_range(start="20200310",periods=10),      # 输出日期数据，设置周期为10，注意这里的周期数应该与数据条数相等。
        "money":[5,4,65,-10,15,20,35,16,6,20],                  # 设置一个-10的坑，下面会填（好惨，自己给自己挖坑，幸亏不准备跳~）
        "product":['苏打水','可乐','牛肉干','老干妈','菠萝','冰激凌','洗面奶','洋葱','牙膏','薯片'],
        "department":['饮料','饮料','零食','调味品','水果',np.nan,'日用品','蔬菜','日用品','零食'],                # 再设置一个空值的坑
        "origin":['China',' China','America','China','Thailand','China','america','China','China','Japan']     # 再再设置一个america的坑
    })
    data              # 输出查看数据集

输出结果：

![format_png 3][]

**2.2 数据写入和读取**

data.to_csv("shopping.csv",index=False)       # index=False表示不加索引，否则会多一行索引

data=pd.read_csv("shopping.csv")

## 3. 数据查看 ##

**3.1 数据集基础信息查询**

data.shape            # 行数列数
    data.dtypes           # 所有列的数据类型
    data['id'].dtype      # 某一列的数据类型
    data.ndim             # 数据维度
    data.index            # 行索引
    data.columns          # 列索引
    data.values           # 对象值

**3.2 数据集整体情况查询**

data.head()    # 显示头部几行（默认5行）
    data.tail()    # 显示末尾几行（默认5行）
    data.info()    # 数据集相关信息概览：索引情况、列数据类型、非空值、内存使用情况
    data.describe()    # 快速综合统计结果

## 4. 数据清洗 ##

**4.1 查看异常值**

当然，现在这个数据集很小，可以直观地发现异常值，但是在数据集很大的时候，我用下面这种方式查看数据集中是否存在异常值，如果有其他更好的方法，欢迎传授给我。

for i in data:
        print(i+": "+str(data[i].unique()))      # 查看某一列的唯一值

输出结果：我们发现，该数据集中money存在一个负值，department存在一个空值以及origin存在大小写问题。

![format_png 4][]

**4.2 空值处理**

**4.2.1 空值检测**

data.isnull()\# 查看整个数据集的空值data\['department'\].isnull()\# 查看某一列的空值

data.isnull()                # 查看整个数据集的空值
    data['department'].isnull()  # 查看某一列的空值

输出结果：

![format_png 5][]

将空值判断进行汇总，更加直观，ascending默认为True，升序。

data.isnull().sum().sort_values(ascending=False)

输出结果：

![format_png 6][]

> 更多关于pandas.DataFrame.sort\_values的用法，戳下面官方链接：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.sort\_values.html

**4.2.2 空值处理**

pandas.DataFrame.fillna（value = None，method = None，inplace = False）

*  value：用于填充的值，可以是具体值、字典和数组，不能是列表；
 *  method：填充方法，有 ffill 和 bfill 等；
 *  inplace默认无False，如果为True，则将修改此对象上的所有其他视图。

> 更多关于pandas.DataFrame.fillna的用法，戳下面官方链接：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html

data['department'].fillna(method="ffill")    # 填充上一个值，即填充“水果”

输出结果：

![format_png 7][]

data['department'].fillna(method="bfill")    # 填充下一个值，即填充“日用品”

data['department'].fillna(value="冷冻食品",inplace=True)    # 替换为具体值，并且在原对象值上进行修改

输出结果：

![format_png 8][]

**4.3 空格处理**

只针对object类型数据

for i in data:                                    # 遍历数据集中的每一列
        if pd.api.types.is_object_dtype(data[i]):     # 如果是object类型的数据，则执行下方代码
            data[i]=data[i].str.strip()               # 去除空格
    data['origin'].unique()                           # 验证一下

输出结果：array(\[‘China’, ‘America’, ‘Thailand’, ‘america’, ‘Japan’\], dtype=object)

**4.4 大小写转换**

data['origin'].str.title()         # 将首字母大写
    data['origin'].str.capitalize()    # 将首字母大写
    data['origin'].str.upper()         # 全部大写
    data['origin'].str.lower()         # 全部小写

**4.5 数据替换**

data['origin'].replace("america","America",inplace=True)    # 将第一个值替换为第二个值，inplace默认为False
    data['origin']

输出结果：

![format_png 9][]

data['money'].replace(-10,np.nan,inplace=True)                    # 将负值替换为空值
    data['money'].replace(np.nan,data['money'].mean(),inplace=True)   # 将空值替换为均值
    data['money']

输出结果：

![format_png 10][]

**4.6 数据删除**

方法一

data1 = data[data.origin != 'American'] #去掉origin为American的行
    data1
    data2=data[(data != 'Japan').all(1)]    #去掉所有包含Japan的行    不等于Japan的行为真，则返回
    data2

方法二

data['origin'].drop_duplicates()      # 默认删除后面出现的重复值，即保留第一次出现的重复值

输出结果：

![format_png 11][]

data['origin'].drop_duplicates(keep='last')   # 删除前面出现的重复值，即保留最后一次出现的重复值

输出结果：

![format_png 12][]

> 更多关于pandas.DataFrame.drop\_duplicates的用法，戳下面官方链接：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop\_duplicates.html\#pandas.DataFrame.drop\_duplicates

**4.7 数据格式转换**

data['id'].astype('str')    # 将id列的类型转换为字符串类型。

常见的数据类型对照

![format_png 13][]

**4.8 更改列名称**

data.rename(columns={'id':'ID', 'origin':'产地'})     # 将id列改为ID，将origin改为产地。

输出结果：

![format_png 14][]

**思维导图**

![format_png 15][]

完整思维导图电子版（PDF）

待明日晚九点推文，和（下篇）一起整理给大家哈

参考资料：

*  pandas官网
 *  pandas用法总结
 *  Pandas 文本数据方法

![format_png 16][]

如果本文对你有帮助

欢迎扫描二维码**关注**作者的**今日头条**

![format_png 17][]

（或在今日头条搜索“雅痞绅士JM”）

**近期文章，点击图片即可查看**

[![format_png 18][]][format_png 18 1]

[![format_png 19][]][format_png 19 1]

[![format_png 20][]][format_png 20 1]

[![format_png 21][]][format_png 21 1]

**后台回复关键词「****进群****」，即刻加入读者交流群~**

![format_png 22][]

**五**

未完待续，下篇见明日推文，还有完整版思维导图哈

![format_png 23][]

朱小五

[format_png]: /images/20230528/a94fefaf8db44bb890971250f2ab769e.png
[format_png 1]: /images/20230528/83781496b64947598bb9c19d2c24aa1a.png
[format_png 2]: /images/20230528/333d904a9b05461bb0293dd0f9e379da.png
[format_png 3]: /images/20230528/03dadb60cefc4291bed9962e5db8dabb.png
[format_png 4]: /images/20230528/17746676998f4236bad97129fcc2b17f.png
[format_png 5]: /images/20230528/3646024ccadb4aef9d9e214f22fd0f95.png
[format_png 6]: /images/20230528/2abf3637644748ad82cd46871daff6d7.png
[format_png 7]: /images/20230528/28be7518e18e4145b4ab05863574e308.png
[format_png 8]: /images/20230528/1230f1ea30f0486db8f17e88048006a7.png
[format_png 9]: /images/20230528/e0846e6e2b44410381336b9afa76c87b.png
[format_png 10]: /images/20230528/14e8791cbb2a4009965c630c409e5661.png
[format_png 11]: /images/20230528/27d9b744695c465e9d1d98bc6466413c.png
[format_png 12]: /images/20230528/aa712f1409834339bc394698daf3431f.png
[format_png 13]: /images/20230528/8e8bc61b69cb47329224f0d469a014c8.png
[format_png 14]: /images/20230528/afa2239de13e41cd89806e2ff819d6c0.png
[format_png 15]: /images/20230528/1961fe15c68b468b834189ffb1a49ad1.png
[format_png 16]: /images/20230528/9229ade83f2e4306887497973d5ee9f8.png
[format_png 17]: /images/20230528/15223b3ba1a641e4ba47c1cf1769e3b8.png
[format_png 18]: /images/20230528/f3683e68bf7c4480835259803a707c9a.png
[format_png 18 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2daec93aa4b82f2959245298c32d5c2b3374f6c8bbab0ecd2c4c14bd04dcf8189411dd24&idx=1&mid=2247485482&scene=21&sn=01da14c1b1ba88ac6160869180d1b530#wechat_redirect
[format_png 19]: /images/20230528/26f41533940642cfbd8f90a6a6e712fd.png
[format_png 19 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2daec93aa4b89f0483cdbca630ace630cbdfde1f21d93426432921e8d7279267721be8ac&idx=2&mid=2247485482&scene=21&sn=146589c2f04badad8e5182d07ccde9e0#wechat_redirect
[format_png 20]: /images/20230528/dec0da9bda074eba8b5dc611a662ff1b.png
[format_png 20 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2daec93aa4b8962f671796ed9dd83987d507c3e1a5ea358070049e03ad6fb49e6bf66da2&idx=3&mid=2247485482&scene=21&sn=97ecbcb87e7eb8e1aafb124c7f9bc897#wechat_redirect
[format_png 21]: /images/20230528/e1827b65fcf14fd391a7b35e5aefc249.png
[format_png 21 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d2daec93aa4b803c0949ad8717169f842bc62388a0d09f58df64264cb487f6a9ca666209f&idx=4&mid=2247485482&scene=21&sn=fad3249f4b7aef804dac77a31faa1a0b#wechat_redirect
[format_png 22]: /images/20230528/7a49b7ea9e1e427abc72067a9f113857.png
[format_png 23]: /images/20230528/f761e32a11494ee289b60d14a199d18e.png