【pandas基础】--数据整理

落日映苍穹つ 2024-05-06 09:35 69阅读 0赞

`pandas`进行数据整理的意义在于，它是数据分析、数据科学和机器学习的前置步骤。  
通过数据整理可以提前了解数据的概要，缺失值、重复值等情况，为后续的分析和建模提供更为可靠的数据基础。

本篇主要介绍利用`pandas`进行数据整理的各种方法。

## 1. 数据概要 ##

获取数据概要信息可以帮助我们了解数据的基本情况，包括数据的大小、数据类型、缺失值的情况、数据的分布情况等。

这些信息对于我们进行数据分析、数据处理和建模等工作非常重要。  
获取数据概要信息是进行数据分析和处理的基础，也是保障数据分析和建模结果准确性的重要步骤。

测试数据导入：

import pandas as pd
    
    fp = "http://databook.top:8888/pandas/cn-people.csv"
    df = pd.read_csv(fp)
    df

![image.png][]

### 1.1 dtypes 数据类型 ###

查看数据类型：

df.dtypes

![image.png][image.png 1]

数据集中4个列的类型如上所示。

### 1.2 describe 数值列统计 ###

选取数值列`value`，统计其情况看看：

df.value.describe()
    # df["value"].describe()

![image.png][image.png 2]

统计的内容包括：总数、平均数、标准差、最小值、最大值等等。

### 1.3 value\_counts 各类数据的数量 ###

比如，统计**指标中文**这列，看看不同的指标对应的数据量。

df["指标中文"].value_counts()

![image.png][image.png 3]

可以看出，每种指标的数据都是 **44** 条。

### 1.4 info 整体的基本信息 ###

df.info()

![image.png][image.png 4]

`info`函数包括每列的名称、数据类型、非空值数量、甚至内存使用量等信息。

## 2. 缺失值处理 ##

收集的数据难免缺失，对缺失值的处理进行分析前必要的步骤，因为：

1.  保证数据的完整性和准确性。缺失值的存在可能会影响数据的可靠性和分析结果的准确性，因此及时处理缺失值能够保证数据的完整性和准确性。
2.  提高数据分析结果的准确性。处理缺失值能够提高数据分析结果的准确性，因为缺失值会对数据分析结果产生一定的偏差，处理缺失值能够减少这种偏差，提高数据分析结果的可靠性。
3.  使数据更容易被理解和处理。处理缺失值能够使数据更加规范和标准化，从而方便数据的理解和处理。如果数据中存在大量的缺失值，可能会造成数据处理困难，降低数据的处理效率。
4.  使得数据更加适合建模。处理缺失值能够使得数据更加适合建模，因为缺失值可能会影响模型的训练和预测效果，处理缺失值能够提高模型的准确性和可靠性。

`pandas`中提供了 `isnull` 和 `notnull` 两个函数来标记缺失值，也提供了`fillna` 和 `dropna`两个函数来处理缺失值。

演示缺失值处理的测试数据如下：

import pandas as pd
    
    fp = "http://databook.top:8888/pandas/missing-values.csv"
    df = pd.read_csv(fp)
    df

![image.png][image.png 5]

缺失的数据默认值为 `NaN`。

### 2.1 查看缺失值 ###

`pandas`通过`isnull`函数可以标记缺失的值，缺失的值显示为 `True`。

df.isnull()

![image.png][image.png 6]

`notnull`函数与之相反，缺失的值显示为 `False`。

df.notnull()

![image.png][image.png 7]

通过这两个函数，可以很方便的过滤包含或未包含缺失值的数据。

# value缺失 【并且】 指标中文未缺失的数据
    df[df.value.isnull() & df["指标中文"].notnull()]

![image.png][image.png 8]

# value未缺失 【或者】 指标中文缺失的数据
    df[df.value.notnull() | df["指标中文"].isnull()]

![image.png][image.png 9]

### 2.2 填充缺失值 ###

对于缺失值，为了防止其对后续的分析算法造成影响，一般有两种处理方式。  
一种是填充默认值，一种是直接删除包含缺失值的数据。

填充缺失值用`fillna`函数。

df.value = df.value.fillna(0.0)
    df["指标编码"] = df["指标编码"].fillna("A000000")
    df["指标中文"] = df["指标中文"].fillna("默认指标")
    df

![image.png][image.png 10]

各列填充不同的默认值之后如上。

### 2.3 删除缺失值 ###

删除缺失值时，请关注2个关键的参数。  
一个是 `how`，另一个是`subset`。  
`how="all"`时，只有当前列所有数据都是`NaN`时才删除。

df.dropna(how="all")

![image.png][image.png 11]

没有满足条件的数据，所有数据都保留下来了。

`how="any"`时，只要有一个数据是`NaN`，就会删除当前行数据。

df.dropna(how="any")

![image.png][image.png 12]

所有数据都删除了，因为示例数据中每一行都有一个`NaN`数据。

除了`how`之外，另一个常用的参数是`subset`，与`how`相比，它可以具体指定哪些列为`NaN`时才删除数据。

df.dropna(subset=["value", "指标中文"])

![image.png][image.png 13]

`指标中文`或者`value`为`NaN`的数据都删除了。

## 3. 重复值处理 ##

在数据分析中，处理重复值是非常重要的，因为重复值会影响分析结果和数据准确性。  
处理重复值可以：

1.  避免重复计算：重复值可能会导致重复计算，从而影响数据分析结果的准确性。
2.  减少存储空间：去除重复值可以减少数据存储空间，从而提高数据处理效率。
3.  提高数据分析精度：处理重复值可以提高数据分析的准确性和精度，从而帮助分析师做出更准确的决策。
4.  符合数据质量标准：去除重复值可以提高数据的完整性和一致性，符合数据质量标准。
5.  简化数据可视化：处理重复值可以简化数据可视化操作，从而帮助分析师更好地理解数据。

演示重复值处理的测试数据如下：

import pandas as pd
    
    fp = "http://databook.top:8888/pandas/duplicate-values.csv"
    df = pd.read_csv(fp)
    df

![image.png][image.png 14]

### 3.1 查找重复值 ###

`pandas`提供了`duplicated()`方法来检查DataFrame中的重复值。  
该方法返回一个布尔`Series`，其中`True`表示该行是重复的，`False`表示该行不是重复的。

df.duplicated()

![image.png][image.png 15]

根据`index`，可以看出哪些行是重复的。

### 3.2 删除重复值 ###

对于重复的值，一般都是直接删除。  
删除重复数据的方法`drop_duplicates`中有个`keep`参数可以重点关注下。

# 重复时，保留第一个数据
    df.drop_duplicates(keep="first")

![image.png][image.png 16]

`keep="first"`时，从`index`可以看出，保留的是重复数据中`index`最**小**的数据。

# 重复时，保留最后一个数据
    df.drop_duplicates(keep="last")

![image.png][image.png 17]

`keep="last"`时，从`index`可以看出，保留的是重复数据中`index`最**大**的数据。

df.drop_duplicates(keep=False)

![image.png][image.png 18]

`keep=False`时，所有重复的数据都被删除了。

[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/0ba158189af949789f4e7d6e9f911da3.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/8cd50f8872a847ccba228a94dd9f9192.png
[image.png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/80c9df2464e7485abc23235b353ead25.png
[image.png 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/b0d39b360a404680b1c136d3ac2c315f.png
[image.png 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/5e347988348945f69bf43f2b78781b9e.png
[image.png 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/a41d5420da74493b9b016a0272eaa225.png
[image.png 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/ca373e48641547b1b4f13a0970644ce6.png
[image.png 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/58f829302c794ba49b0df49d9044876b.png
[image.png 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/bed126d704c547299b5957a255e29142.png
[image.png 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/7af8a707bd7b4270aec90da06efeff98.png
[image.png 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/1829f377c09546a79c047e9c05dd133e.png
[image.png 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/04bfdf3d315c4fcd9033fd8da720488f.png
[image.png 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/c2b0120d2c9f4c8eb289ff6c11a2a3ab.png
[image.png 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/74c960cbe3f74d8f84b6a1511e708977.png
[image.png 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/f4586396bdf843eba4870abbd30463bb.png
[image.png 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/f3bfcd2e025e4f30b7c1d9372e6bde37.png
[image.png 16]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/94b58eba5b4a4c34acb177cc54e3a77c.png
[image.png 17]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/e4229623ef574633b71b0cc1c407d4be.png
[image.png 18]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/ea5d2dac5ea04324a8c5ab9b0adec84e.png