一看就会的Pandas文本数据处理

小灰灰 2022-08-28 11:46 185阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

行人刁斗风沙暗，公主琵琶幽怨多。

大家好，我是才哥。

日常工作中我们经常接触到一些文本类信息，需要从文本中解析出数据信息，然后再进行数据分析操作。

而对文本类信息进行解析是一件比较头秃的事情，好巧，`Pandas`刚好对这类文本数据有比较好的处理方法，那就让我们来一起学一学吧！

## 1. 文本数据类型 ##

在`pandas`中存储文本数据有两种方式：`object` 和 `string`。在pandas 1.0版本之前，object是唯一的文本类型，在一列数据中如果包含数值和文本等混合类型则一般也会默认为object。在pandas 1.0 版本之后，新增了string文本类型，可以更好的支持字符串的处理。

### 1.1. 类型简介 ###

**默认情况下，object仍然是文本数据默认的类型**。

![49bb9524bd412da89d18efb7c15e8a34.png][]

**如果要采用string类型，我们可以通过dtype进行指定**

![463f2cf1182c02d8bf22279a63b09965.png][]

**在Series 或 Dataframe被创建后，我们还可以通过astype进行类型强制转换**

![84f2945ec4f65ed40d83529b0b3c84b1.png][]

当然，我们还有个`df.convert_dtypes()`方法可以进行智能数据类型选择

![dfa29fb1f37a4ca9fd4e9851f32a2b7f.png][]

### 1.2. 类型差异 ###

string和object在操作上有所不同。

对于sting来说，返回**数字**输出的字符串访问器方法将始终返回可为空的整数类型；对于object来说，是 int 或 float，具体取决于 NA 值的存在

![96599bc7e048e0dbe08ebb37692546c3.png][]

对于string类型来说，返回**布尔**输出的方法将返回一个可为空的布尔数据类型

![d4339107089db1aca4a0b6d0d7e0ea1c.png][]

## 2. 字符串方法 ##

Series 和 Index 都有一些字符串处理方法，可以方便进行操作，最重要的是，这些方法会自动排除缺失/NA 值，我们可以通过`str`属性访问这些方法。

### 2.1. 文本格式 ###

文本格式是对字符串文本进行格式操作，比如转换大小写之类的

>>> s = pd.Series(
    ...     ["A", "B", "Aaba", "Baca", np.nan, "cat"],
    ...     dtype="string"
    ... )
    >>> s.str.lower() # 转小写
    0       a
    1       b
    2    aaba
    3    baca
    4    <NA>
    5     cat
    dtype: string
    >>> s.str.upper() # 转大写
    0       A
    1       B
    2    AABA
    3    BACA
    4    <NA>
    5     CAT
    dtype: string
    >>> s.str.title() # 每个单词大写
    0       A
    1       B
    2    Aaba
    3    Baca
    4    <NA>
    5     Cat
    dtype: string
    >>> s.str.capitalize() # 首字母大写
    0       A
    1       B
    2    Aaba
    3    Baca
    4    <NA>
    5     Cat
    dtype: string
    >>> s.str.swapcase() # 大小写互换
    0       a
    1       b
    2    aABA
    3    bACA
    4    <NA>
    5     CAT
    dtype: string
    >>> s.str.casefold() # 转为小写，支持其他语言
    0       a
    1       b
    2    aaba
    3    baca
    4    <NA>
    5     cat
    dtype: string

### 2.2. 文本对齐 ###

文本对齐是指在文本显示的时候按照一定的规则进行对齐处理，比如左对齐、右对齐、居中等等

>>> s.str.center(10,fillchar='-') # 居中对齐，宽度为10，填充字符为'-'
    0    ----A-----
    1    ----B-----
    2    ---Aaba---
    3    ---Baca---
    4          <NA>
    5    ---cat----
    dtype: string
    >>> s.str.ljust(10,fillchar='-') # 左对齐
    0    A---------
    1    B---------
    2    Aaba------
    3    Baca------
    4          <NA>
    5    cat-------
    dtype: string
    >>> s.str.rjust(10,fillchar='-') # 右对齐
    0    ---------A
    1    ---------B
    2    ------Aaba
    3    ------Baca
    4          <NA>
    5    -------cat
    dtype: string
    >>> s.str.pad(width=10, side='left', fillchar='-') # 指定宽度，填充字符对齐方式为 left，填充字符为'-'
    0    ---------A
    1    ---------B
    2    ------Aaba
    3    ------Baca
    4          <NA>
    5    -------cat
    dtype: string
    >>> s.str.zfill(3) # 指定宽度3，不足则在前面添加0
    0     00A
    1     00B
    2    Aaba
    3    Baca
    4    <NA>
    5     cat
    dtype: string

### 2.3. 计数与编码 ###

文本计数与内容编码

>>> s.str.count("a") # 字符串中指定字母的数量
    0       0
    1       0
    2       2
    3       2
    4    <NA>
    5       1
    dtype: Int64
    >>> s.str.len() # 字符串的长度
    0       1
    1       1
    2       4
    3       4
    4    <NA>
    5       3
    dtype: Int64
    >>> s.str.encode('utf-8') # 编码
    0       b'A'
    1       b'B'
    2    b'Aaba'
    3    b'Baca'
    4       <NA>
    5     b'cat'
    dtype: object
    >>> s.str.encode('utf-8').str.decode('utf-8') # 解码
    0       A
    1       B
    2    Aaba
    3    Baca
    4    <NA>
    5     cat
    dtype: object

### 2.4. 格式判断 ###

格式判断就是对字符串进行字符格式判断，比如是不是数字，是不是字母，是不是小数等等

>>> s = pd.Series(
    ...     ["A", "B", "Aaba", 12, 5, np.nan, "cat"],
    ...     dtype="string"
    ... )
    >>> s.str.isalpha() # 是否为字母
    0     True
    1     True
    2     True
    3    False
    4    False
    5     <NA>
    6     True
    dtype: boolean
    >>> s.str.isnumeric() # 是否为数字0-9
    0    False
    1    False
    2    False
    3     True
    4     True
    5     <NA>
    6    False
    dtype: boolean
    >>> s.str.isalnum() # 是否由数字或字母组成
    0    True
    1    True
    2    True
    3    True
    4    True
    5    <NA>
    6    True
    dtype: boolean
    >>> s.str.isdigit() # 是否为数字
    0    False
    1    False
    2    False
    3     True
    4     True
    5     <NA>
    6    False
    dtype: boolean
    >>> s.str.isdecimal() # 是否为小数
    0    False
    1    False
    2    False
    3     True
    4     True
    5     <NA>
    6    False
    dtype: boolean
    >>> s.str.isspace() # 是否为空格
    0    False
    1    False
    2    False
    3    False
    4    False
    5     <NA>
    6    False
    dtype: boolean
    >>> s.str.islower() # 是否为小写
    0    False
    1    False
    2    False
    3    False
    4    False
    5     <NA>
    6     True
    dtype: boolean
    >>> s.str.isupper() # 是否为大写
    0     True
    1     True
    2    False
    3    False
    4    False
    5     <NA>
    6    False
    dtype: boolean
    >>> s.str.istitle() # 是否为标题格式
    0     True
    1     True
    2     True
    3    False
    4    False
    5     <NA>
    6    False
    dtype: boolean

以上这些字符串的方法其实和python原生的字符串方法基本相同。

## 3. 文本高级操作 ##

文本高级操作包含文本拆分、文本替换、文本拼接、文本匹配与文本提取等，学会这些操作技巧，我们基本上就可以完成常见的复杂文本信息处理与分析了。

### 3.1. 文本拆分 ###

文本拆分类似excel里的数据分列操作，将文本内容按照指定的字符进行分隔，具体大家可以看下面案例。

方法`split()`返回的是一个列表

![60ffb77a4fcc2051c37661c0a640a2ad.png][]

我们可以使用`get` 或 `[]`符号访问拆分列表中的元素

![a7cdfae01abf9b508732d3bbf077023e.png][]

我们还可以**将拆分后的列表展开**，需要使用参数`expand`

![48035ce338676f39a02f50830de4a779.png][]

同样，我们可以**限制分隔的次数**，默认是从左开始（`rsplit`是从右到左），用到参数`n`

![2e11a5ab096b61436933784d7d34f05e.png][]

对于更复杂的拆分规格，我们可以在**分隔符处传入正则表达式**

![048d4c35d9405ff1e7c550922de988ce.png][]

**补充**：像`str.slice()`切片选择方法与`str.partition()`文本划分方法都有类似效果，大家可以自定查阅官方文档案例了解。

### 3.2. 文本替换 ###

我们经常在数据处理中用到替换功能，将指定的一些数据替换成我们想要替换的内容。同样，在处理文本数据替换的时候，`str.repalce()`也可以很好的满足这一操作。

![42cc91bd79bb9faec1c968e81d427a40.png][]

以上案例中，将`regex`参数设置为`False`就可以进行字面替换而不是对每个字符进行转义；反之，则需要转义，为正则替换。

此外，我们还可以正则表达式替换，比如下面这个例子中我们实现的是对文本数据中英文部分进行倒序替换：

![528c3343041c0adcd79e8539f2fabe38.png][]

可能部分同学无法直观的理解上面的正则案例，这里简单的拆解介绍下：

![604f2131508cc8e4c8c36b3828e27596.png][]

关于正则表达式的一些介绍，大家还可以参考此前推文《》进行更多了解。

另外，我们还可以通过`str.slice_replace()`方法实现**保留选定内容，替换剩余内容**的操作：

![052adecaf00a94e99f6d1548f09bbdfd.png][]

**补充**：我们还可通过`str.repeat()`方法让原有的文本内容重复，具体大家可以自行体验

### 3.3. 文本拼接 ###

文本拼接是指将多个文本连接在一起，基于`str.cat()`方法

比如，**将一个序列的内容进行拼接**，默认情况下会忽略缺失值，我们亦可指定缺失值

![0651484c53bfce5b05db5895a3a57ed2.png][]

**连接一个序列和另一个等长的列表**，默认情况下如果有缺失值，则会导致结果中也有缺失值，不过可以通过指定缺失值`na_rep`的情况进行处理

![8a2207786550e634a7a5aeea6df70a9c.png][]

**连接一个序列和另一个等长的数组（索引一致）**

![9798cba7cb89c56eda5c815f98788e71.png][]

**索引对齐**

![1b86736c784b9a56e7b11a0d64f5a253.png][]

在索引对齐中，我们还可以通过参数`join`来**指定对齐形式**，默认为左对齐`left`，还有`outer`, `inner`, `right`

![ddaae7867df87681968d0fc63b7ea2ee.png][]

### 3.4. 文本匹配 ###

文本匹配这里我们介绍查询和包含判断，分别用到`str.findall()`、`str.find()`和`str.contains()`方法。

**文本查询**，`str.findall()`返回查询到的值，`str.find()`返回匹配到的结果所在的位置（-1表示不存在）

![c91f79904a4ef6e1fb078fe08a5cb158.png][]

**文本包含**，其实`str.contain()`常见于数据筛选中

![7b986f9c757de37335eaa59b327bc8d5.png][]

此外，还有`str.startwith()`和`str.endwith()`用于指定开头还是结尾包含某字符的情况，而`str.match()`则可用于正则表达式匹配。

### 3.5. 文本提取 ###

我们在日常中经常遇到需要提取某序列文本中特定的字符串，这个时候采用`str.extract()`方法就可以很好的进行处理，它是**用正则表达式将文本中满足要求的数据提取出来形成单独的列**。

比如下面这个案例，我们用正则表达式将文本分为两部分，第一部分是字母a和b，第二部分匹配数字：

![fe3876c8425d4f95d5b0c318a105fb12.png][]

在上述案例中，`expand`参数为`Fasle`时如果返回结果是一列则为`Series`，否则是`Dataframe`。

我们还可以对提取的列进行命令，形式如`?P<列名称>`，具体如下：

![4f7e0dde1176b1d3b4ac437b42c0ab23.png][]

**提取全部匹配项**，会将一个文本中所有符合规则的内容匹配出来，最后形成一个多层索引数据：

![9fc461648008543bc8e855d69489b5c5.png][]

我们还可以从字符串列中**提取虚拟变量**，例如用`"|"`分隔（第一行abc只有a，第二行有a和b，第三行都没有，第四行有a和c）：

![9900eff2498d950164a846976e85394d.png][]

以上就是本次全部内容，相信大家在熟练这些文本数据处理的操作后，在日常工作中对于文本数据的处理将会非常得心应手。

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [Python项目实战篇——常用验证码标注&识别(CNN神经网络模型训练/测试/部署)][Python_CNN]  
    
 *  [Python项目实战篇——常用验证码标注&识别(前端+后端实现高效率数据标注)][Python]  
    
 *  [Python项目实战篇——常用验证码标注&识别(数据采集/预处理/字符图切割）][Python 1]  
    
 *  [Python项目实战篇——常用验证码标注和识别(需求分析和实现思路][Python]

![84e344c26bb7403d453e81747683d2e5.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~

[49bb9524bd412da89d18efb7c15e8a34.png]: /images/20220828/1e533471839b48b69100f6529bf5a9e8.png
[463f2cf1182c02d8bf22279a63b09965.png]: /images/20220828/429313f9cd5546b687680a121a051512.png
[84f2945ec4f65ed40d83529b0b3c84b1.png]: /images/20220828/7392e28ab5c24a81a64332f1e4a61741.png
[dfa29fb1f37a4ca9fd4e9851f32a2b7f.png]: /images/20220828/cf00ba558b664da1a106afc5f4f95c7c.png
[96599bc7e048e0dbe08ebb37692546c3.png]: /images/20220828/b328ebb00ff84b39968349a1d81e5fac.png
[d4339107089db1aca4a0b6d0d7e0ea1c.png]: /images/20220828/42d3d185f6d7430393f900001159ab3a.png
[60ffb77a4fcc2051c37661c0a640a2ad.png]: /images/20220828/a6ac2439089b4f1fbc37adfe31e96387.png
[a7cdfae01abf9b508732d3bbf077023e.png]: /images/20220828/145f9e7378304ce18c42b41374109000.png
[48035ce338676f39a02f50830de4a779.png]: /images/20220828/4d436110b6564c9f8d8d70038ac38a72.png
[2e11a5ab096b61436933784d7d34f05e.png]: /images/20220828/e024f237028444ecbc3b9fd3a19b10a6.png
[048d4c35d9405ff1e7c550922de988ce.png]: /images/20220828/213451dec70448c0a8c9d2d9701e1041.png
[42cc91bd79bb9faec1c968e81d427a40.png]: /images/20220828/60a72ffa92e641d7af4fb23a3a50283d.png
[528c3343041c0adcd79e8539f2fabe38.png]: /images/20220828/58bcfe484d0a47d6aace7dbd0652f4e5.png
[604f2131508cc8e4c8c36b3828e27596.png]: /images/20220828/29259faa8b404bc78d81137b44a5c9eb.png
[052adecaf00a94e99f6d1548f09bbdfd.png]: /images/20220828/0e1d951974f7418691e032e2ae1d14a3.png
[0651484c53bfce5b05db5895a3a57ed2.png]: /images/20220828/b6a733b36cac4aa4937f4130fe71c7b7.png
[8a2207786550e634a7a5aeea6df70a9c.png]: /images/20220828/8714717035cb4e77b71644809499bd64.png
[9798cba7cb89c56eda5c815f98788e71.png]: /images/20220828/cfb1c08052f24e709402dc3eb64b577b.png
[1b86736c784b9a56e7b11a0d64f5a253.png]: /images/20220828/6e9062f24ed64c1c97205edd2b7671ca.png
[ddaae7867df87681968d0fc63b7ea2ee.png]: /images/20220828/f2f875da641949428150c2567ac8e4ca.png
[c91f79904a4ef6e1fb078fe08a5cb158.png]: /images/20220828/3a5d299e43a4411a939561687400dca4.png
[7b986f9c757de37335eaa59b327bc8d5.png]: /images/20220828/b6d31bdc7eb1490c85bbf3ac3653e5f3.png
[fe3876c8425d4f95d5b0c318a105fb12.png]: /images/20220828/1a2770a0461e451498c1d4defb2f87a5.png
[4f7e0dde1176b1d3b4ac437b42c0ab23.png]: /images/20220828/8bdb2298e6d64a2ca408b6d7b828e42d.png
[9fc461648008543bc8e855d69489b5c5.png]: /images/20220828/ce79e73611da40f9a8c02fab8f2df7c4.png
[9900eff2498d950164a846976e85394d.png]: /images/20220828/86c51174006b4179b7c2df82338c8ac4.png
[Python_CNN]: https://blog.csdn.net/pdcfighting/article/details/120212984
[Python]: https://blog.csdn.net/pdcfighting/article/details/120245546
[Python 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA==&mid=2247497243&idx=1&sn=335274a80ecfc2366a6f8d440d0a2f2a&chksm=fcc0b030cbb739266c6cbf7b2ddc7e4a58e63c6bfc792964606d8e3c05ecf0f8828443ef213c&scene=21#wechat_redirect
[84e344c26bb7403d453e81747683d2e5.png]: /images/20220828/9d41f22b39394f569aac3391ef002fcb.png