经常被人忽视的：Pandas 文本数据处理！

柔光的暖阳◎ 2022-08-28 03:47 193阅读 0赞

![d6f049b733e263947d70ffc4da611fc4.gif][]

毋庸置疑，Pandas是使用最广泛的 Python 库之一，它提供了许多功能和方法来执行有效的数据处理和数据分析。

我们平时的操作，大多围绕着数字的处理，这是因为大家习惯将表格数据与数字联系起来。然而我们无论是使用Excel还是Pandas，其实都离不开文本类型的数据。

![5da791c1fdfb675172285d5ed41460d9.png][]

今天，我们会通过一个例子，总结这些常用的Pandas处理文本数据的操作。

首先，先创建一个带有模拟数据的DataFrame。

import pandas as pd
    df = pd.DataFrame({
       "姓": ["王","仲","宝", "王", "朱"],
       "名": ["玉环","觅晴","清俊", "鸿博", "小五"],
       "户籍地址": ["黑龙江省·哈尔滨市", "黑龙江省·哈尔滨市", "黑龙江省·佳木斯市", "广西·柳州市", "湖北省·武汉市"],
       "微信": ["Tomout", "Sm857", "Adamshffhhjfj", "Tull88", "ZPW505"],
       "邮箱": ["tom02@163.com", "smitt@163.com", "adams@163.com", "tull03@163.com", "five@163.com"]
    })
    df

![6aa80649703c1446d35b06cd8c528e8f.png][]

一共五列文本数据：姓、名、户籍地址、微信id、邮箱地址。

讲个冷知识：微信id是不区分大小写的。

![297a7583bd8236d0659ab006c54eb8c9.png][]

如果将微信id这列的文本数据，全部转换为小写，在Pandas中可以这样操作。

df["微信"] = df["微信"].str.lower()
    df

![af98ce4a3f504aedb6d3bf046d66b086.png][]

我们可以通过组合姓氏和名字，来创建姓名这列。

df["姓名"] = df["姓"] + df["名"]
    df

但是在默认情况下，新列会被添加在末尾。

想要更多的自定义选择，可以参考下面的代码。既可以在特定位置插入创建新列，也可以使用 cat 方法组合字符串（此处还可设置分隔符sep，这里并未设置）。

df.insert(2, 
              "姓名", 
              df["姓"].str.cat(df["名"], sep=""))
    df

![4b7ddbf63da785e369936735cbbf1593.png][]

对字符串的一个常见操作是拆分，当文本数据包含多条信息时，它就派上用场啦。

例如，户籍地址这列包括省份和城市，我们可以通过拆分此列来提取城市的信息。

df["城市"] = df["户籍地址"].str.split("·", expand=True)[1]
    df

![0050a08ec5b3d9e08713877fb24a65f3.png][]

对字符串的另一个常见操作是筛选过滤，那么在Pandas中如何操作呢？

如果想筛选“王”字开头的姓名，既可以直接筛选 姓 这一列，也可以使用`startswith()`来过滤。

`startswith()` 和`endswith()` 这两个函数，是分别基于字符串的第一个或最后一个字母进行筛选。

df[df["姓名"].str.startswith("王")]

![ad507e23ed33423b70e5364de5753794.png][]

> 注意：`startswith()` 和`endswith()` 这两个函数，还可以通过设置参数，既能检测多个字符，又能设置字符串检测的起始和结束位置。

![3c759c0ecf15bbd671ee96dd7b3e850f.gif][]

如果想直接筛选包含特定字符的字符串，可以使用`contains()`这个方法。

例如，筛选户籍地址列中包含“黑龙江”这个字符的所有行。

df[df["户籍地址"].str.contains("黑龙江")]

![6576fe2480a81e4d7560eaecad86b01f.png][]

`replace()`方法可用于替换字符串中的字符序列，通过该方法可以修改Pandas中的文本数据。

df["户籍地址"] = df["户籍地址"].str.replace("广西", "广西壮族自治区")
    df

![1f2af2c50f3a93c0c0969aaa6d25b631.png][]

最后，我们还可以使用字符串的索引。

例如，我们可以用`“str[:5]”`表达式选择前8个字符，用`“str[-8:]”`选择后8个字符。

df["邮箱"].str[:5]
    df["邮箱"].str[-8:]

![7739c27787de9296063de824fc8296eb.png][]

本文已经罗列了在Pandas中比较常用文本数据处理操作，欢迎大家在评论区补充！

![22d16e181bae31166d10ae420994e030.gif][]

### 一天介绍一本书 ###

数据结构和算法基础Python语言实现：60个好玩的实例代码+300幅图表+模块化编程，从找出并简化核心问题到估算数据规模和算法复杂度，再到编写代码，无论你是新手还是老手，都能帮你掌握数据结构和算法这一核心技能！

**![bb293b860c847cdc4630a6461806452e.png][]**

![f770e225b0d8c92e85c27f2fc0213a8d.gif][]

点击这里，阅读更多数据文章！

[d6f049b733e263947d70ffc4da611fc4.gif]: /images/20220828/be2c168ee6b6416b9bdd25154068b77a.png
[5da791c1fdfb675172285d5ed41460d9.png]: /images/20220828/8ef96bcc264b402781a1774366b4bbcc.png
[6aa80649703c1446d35b06cd8c528e8f.png]: /images/20220828/39ab2312b80d48e3bd355ea1c392955e.png
[297a7583bd8236d0659ab006c54eb8c9.png]: /images/20220828/778b51788977469197a87441355b2091.png
[af98ce4a3f504aedb6d3bf046d66b086.png]: /images/20220828/644745b599314aeda3a643ff727fcd23.png
[4b7ddbf63da785e369936735cbbf1593.png]: /images/20220828/1d2226812efc42b3b801a4ba57ca4fbe.png
[0050a08ec5b3d9e08713877fb24a65f3.png]: /images/20220828/57818988697d4a0ea9518cb44c52c34e.png
[ad507e23ed33423b70e5364de5753794.png]: /images/20220828/6a1af2de9ba24ec9958233c38a59c210.png
[3c759c0ecf15bbd671ee96dd7b3e850f.gif]: /images/20220828/54a5668cf2164f66869976b69a533fbb.png
[6576fe2480a81e4d7560eaecad86b01f.png]: /images/20220828/51f855ebb33d45c09cbe02eec0433b42.png
[1f2af2c50f3a93c0c0969aaa6d25b631.png]: /images/20220828/0ffa8bacd0264694ad7347ac53d4f3a2.png
[7739c27787de9296063de824fc8296eb.png]: /images/20220828/257f5fab8eaf488380b090280694849d.png
[22d16e181bae31166d10ae420994e030.gif]: /images/20220828/ae8112e595f347039ab426e261e7eff7.png
[bb293b860c847cdc4630a6461806452e.png]: /images/20220828/7abfdc3c741f47f8911185367acf7d3a.png
[f770e225b0d8c92e85c27f2fc0213a8d.gif]: /images/20220828/bf5f17a80b254925bce3c5a476a99ba8.png