数据分析 - pandas 模块

系统管理员 2023-08-17 16:36 182阅读 0赞

# 数据读取结构 - DataFrame #

*  Series (collection of values)
 *  DataFrame (collection of Series objects)
 *  Panel (collection of DataFrame objects)

DataFrame 可以理解为一个矩阵结构, 每一列都是一个 Series

## 样本文件 food\_info.csv ##

表示食品中的各种营养素指标

![1450319-20190725115235335-1426976655.png][]

## 样本文件 titanic\_train.csv ##

泰坦尼克号船员获救案例

![1450319-20190725152728032-2143450415.png][]

## 属性 ##

### .dtypes 属性 ###

查看 DataFrame 结构的内部数据类型

常见的属性值

![1450319-20190725123319051-624446030.png][]

![1450319-20190725120459968-551901899.png][]

### .columns 属性 ###

查看 DataFrame  的列名 （对应样本文件的每个营养素指标，得到一个 list 结构

也可以继续执行  .tolist()  方法返回一个列表

![1450319-20190725122557183-650841876.png][]

![1450319-20190725145215203-1551382503.png][]

### .shape 属性 ###

查看维度， 空间结构表示 （行， 列）

用于查看规模

![1450319-20190725122737242-1746392209.png][]

## 操作方法 ##

### read\_csv 方法 ###

读取 csv 文件转为为 DataFrame  类型

![1450319-20190725115616542-1041093378.png][]

### head 方法 / tail 方法 ###

输出 头 / 尾 n 行数据

传入参数 count(int)  未指定时, 默认输出 5 行, 制定后输入指定行数

![1450319-20190725122054944-953692499.png][]

![1450319-20190725122304703-130802422.png][]

传给参数后会简化输出结果

![1450319-20190725121817382-2136761554.png][]

### 取行 - loc 方法 ###

指定索引取值， 此处不直接使用索引而是用 loc  方法再次封装了一下

传入参数为 索引号， 当然指定不存在的索引是会报错的

![1450319-20190725123057718-1663370760.png][]

使用此方法也可以基于索引进行切片，

![1450319-20190725123440403-240406587.png][]

也可以直接定位到属性值而不是一行的样本, 格式如图, 先写行号在写属性名

![1450319-20190725161045874-1945147146.png][]

### 取列 - \["..."\] ###

按照字段字符串来取这一列的值, 想取多个列就传入多个值

![1450319-20190725123808351-613320557.png][]

![1450319-20190725123916766-1144190445.png][]

### 运算 ###

类似于 numpy  中的运算, 都是对一列全部的数据进行运算

![1450319-20190725150736815-515665057.png][]

![1450319-20190725150225667-1672736005.png][]

如果运算值也是列. 则列之间如果数据对应(维度一样)的话则每行的多列进行运算

运算后的结果可以再保存进去, 但是必须要求维度一致

![1450319-20190725150459353-1337510857.png][]

### 运算函数 ###

取到列之后进行函数调用, 可以进行最大值  .max  , 最小值  .min , 均值 .mean  等运算

![1450319-20190725154518431-2039315952.png][]

![1450319-20190725151941559-1541589872.png][]

### 排序操作 - sort\_values ###

参数 :

列名,

inplace - 在原有基础上还是新拿出来

ascending - 升序, 默认是True表示升序, 把 NaN 放在最后面

![1450319-20190725152322858-1976903297.png][]

### 排序序号 - reset\_index ###

使用 sort\_values 后的指定的列排序成功了. 但是序号会按照之前的行号来处理. 看起来很不方便

使用 此函数进行 index 重新处理, 参数 drop 表示丢弃之前的序号

![1450319-20190725191520070-1977331151.png][]

### 判断空值(缺失值) - isnull ###

pd.isnull( )  传入一列, 进行判断空值输出 True/False 的列名映照序列

在 \[\] 中使用可以取出反向过滤非空值及行号, 也可以进行统计

![1450319-20190725153821030-1189727949.png][]

### 丢弃指定值 - dropna ###

指定列的指定值进行丢弃

axis 指定丢弃值

subset 指定丢弃列

![1450319-20190725160751696-403957206.png][]

### 列关系运算 - pivot\_table ###

正常思路按照 python  中的语法要进行比较繁琐的操作, 而 pandas  中进行了相应的封装

参数:

index 　　按照分类的列名, 基准, 不可以填入多个值

values 　　统计结果所用的变量, 可以填入多个值

aggfunc 　　统计结果的方式, 默认是 mean 均值方式

此处的案例: 求分析不同 Pclass (船舱等级) 的 Survived (获救人数) 的几率

![1450319-20190725155019000-191715980.png][]

此处的案例: 求分析不同 Pclass (船舱等级) 的 Age (年龄) 的平均值

![1450319-20190725155750379-1697761331.png][]

此处的案例: 求分析不同码头之间的船票价格以及获救与否之间的关系

![1450319-20190725160056292-2147013357.png][]

### 转换时间格式 - to\_datetime ###

原有的时间格式是 1948/01/01 使用此函数可以转换为更标准时间格式

![1450319-20190726153910844-1024181078.png][]

### 自定义函数 - apply ###

pandas 内置的函数不能满足自己的需求的时候可以自自定义函数来使用 apply 来进行调用处理

即再一次的封装使用更加方便

案例: 返回第100行数据

![1450319-20190725192001168-334380599.png][]

案例: 返回所有字段空值的计数

![1450319-20190725192208203-509245436.png][]

案例: 字段数据替换

![1450319-20190725192320447-1223472582.png][]

案例: 年龄判断

![1450319-20190725194126379-1983475697.png][]

# 数据读取结构 - Series #

DataFrame 中的每一列都是一个 Series

![1450319-20190725194950563-2090004773.png][]

## 创建 Series ##

创建需要引入 Series 以及使用此类进行实例化

参数传递为 值以及 index 序号, index 可以设置为 字符串

通过 index 设置的字符串可以实现索引操作

![1450319-20190725200243666-1879578649.png][]

## 属性 ##

### .values 查看所有值 ###

类型本质为 ndarray

![1450319-20190725195341333-329095861.png][]

## 方法 ##

### 排序 ###

基本上很少用, 很少会对 Series 进行排序

![1450319-20190726151905259-554170351.png][]

![1450319-20190726151917075-2036555776.png][]

### 运算 ###

相同维度的 Series 彼此可以直接运算![1450319-20190726152001030-973568085.png][]

![1450319-20190726152108969-1606576234.png][]

转载于:https://www.cnblogs.com/shijieli/p/11246216.html

[1450319-20190725115235335-1426976655.png]: /images/20230810/4788ee457ea1498e90f9ebe2fe5daa54.png
[1450319-20190725152728032-2143450415.png]: /images/20230810/4c20851accfa496aae37c40ce56bf811.png
[1450319-20190725123319051-624446030.png]: /images/20230810/9f62e03ada144589b49dd14c2d5e5e50.png
[1450319-20190725120459968-551901899.png]: /images/20230810/c4120bf3d3c342c384d135616d44a7a3.png
[1450319-20190725122557183-650841876.png]: /images/20230810/438cbd35dcc54fbe86fc55a30cfea60d.png
[1450319-20190725145215203-1551382503.png]: /images/20230810/935250e760d147988e76eb678ee8f56e.png
[1450319-20190725122737242-1746392209.png]: /images/20230810/a8b6ad7236dc470e983c0ac0bee75f88.png
[1450319-20190725115616542-1041093378.png]: /images/20230810/1a7556210b67458ab446ac59230781d6.png
[1450319-20190725122054944-953692499.png]: /images/20230810/3f245cd495594282ab5eba6893db94f4.png
[1450319-20190725122304703-130802422.png]: /images/20230810/b0894abb42ba442fa88472ed929a10c5.png
[1450319-20190725121817382-2136761554.png]: /images/20230810/b5a6bdded4844978b9ab209326956a25.png
[1450319-20190725123057718-1663370760.png]: /images/20230810/748cea88813247f28beb8ad3a5360d81.png
[1450319-20190725123440403-240406587.png]: /images/20230810/b596a6996aba4aad91aac6acef71542a.png
[1450319-20190725161045874-1945147146.png]: /images/20230810/93093039fa7845ec923614135d2dc19a.png
[1450319-20190725123808351-613320557.png]: /images/20230810/88405726400c4b0f8f19140985cfa3a9.png
[1450319-20190725123916766-1144190445.png]: /images/20230810/8fe0cd7ad4814bab8931b39283ea8600.png
[1450319-20190725150736815-515665057.png]: /images/20230810/457e68de7b47420e99461558a00a9909.png
[1450319-20190725150225667-1672736005.png]: /images/20230810/ec31ea3c8aa14ea195688e1956f10f4c.png
[1450319-20190725150459353-1337510857.png]: /images/20230810/78c9e678ea7747d3984a38ab440a4637.png
[1450319-20190725154518431-2039315952.png]: /images/20230810/c29d5ffcb79d4710a8956e2d11bd4f7f.png
[1450319-20190725151941559-1541589872.png]: /images/20230810/051b66da38ca49bbbd757a54ba11def1.png
[1450319-20190725152322858-1976903297.png]: /images/20230810/929e892989be4fa6bcc3df734226ac63.png
[1450319-20190725191520070-1977331151.png]: /images/20230810/670d92864b53417a8cd2af89760e40ad.png
[1450319-20190725153821030-1189727949.png]: /images/20230810/7f86d79b22684168823f82c865e275c5.png
[1450319-20190725160751696-403957206.png]: /images/20230810/616cd0c8397740ed8b00cada61e66c2c.png
[1450319-20190725155019000-191715980.png]: /images/20230810/26d92d5fb16e4552a50c089451322032.png
[1450319-20190725155750379-1697761331.png]: /images/20230810/6f93d18ce65247649c005d8d2efdc95e.png
[1450319-20190725160056292-2147013357.png]: /images/20230810/df6ac2d199ab499aaadcf97607972f07.png
[1450319-20190726153910844-1024181078.png]: /images/20230810/c687a80693294300a1ed26acc71210df.png
[1450319-20190725192001168-334380599.png]: /images/20230810/3799e8d8093a45218df7407bf85c1860.png
[1450319-20190725192208203-509245436.png]: /images/20230810/8a9386eca073450198ca61ea3f3b2e00.png
[1450319-20190725192320447-1223472582.png]: /images/20230810/048d86fe36f143d1ae91f2cd0e5191f4.png
[1450319-20190725194126379-1983475697.png]: /images/20230810/6bdb86d8fab1465aaa0fc5b2a3756aa1.png
[1450319-20190725194950563-2090004773.png]: /images/20230810/34dd2c5155f1464c8119a693ad744656.png
[1450319-20190725200243666-1879578649.png]: /images/20230810/a9c833adfd8c4048838c83ccd1cb146c.png
[1450319-20190725195341333-329095861.png]: /images/20230810/07face7c9f2846d695473a7b6dea7fd6.png
[1450319-20190726151905259-554170351.png]: /images/20230810/637c09deda954e899d95e36f8a9dd885.png
[1450319-20190726151917075-2036555776.png]: /images/20230810/374ed4117afa4090a57432fe455512a0.png
[1450319-20190726152001030-973568085.png]: /images/20230810/3a4865f9e3b6425c9413d78b5402b1a7.png
[1450319-20190726152108969-1606576234.png]: /images/20230810/fc32fdcf17194de0b00f3148901cdb2c.png