如何使用pandas提取含有指定字符串

太过爱你忘了你带给我的痛 2023-09-26 19:52 120阅读 0赞

#### 这里写自定义目录标题 ####

*  name age state point
 *  0 Alice 24 NY 64
 *  1 Bob 42 CA 92
 *  2 Charlie 18 CA 70
 *  name age state point
 *  0 Alice 24 NY 64
 *  2 Charlie 18 CA 70
 *  0 False
 *  1 True
 *  2 True
 *  Name: state, dtype: bool
 *  name age state point
 *  1 Bob 42 CA 92
 *  2 Charlie 18 CA 70
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  name age state point
 *  0 Alice 24 NY 64
 *  2 Charlie 18 CA 70
 *  name age state point
 *  0 Alice 24 NY 64
 *  1 Bob 42 CA 92
 *  2 NaN 18 CA 70
 *  0 True
 *  1 False
 *  2 NaN
 *  Name: name, dtype: object
 *  print(df\_nan\[df\_nan\['name'\].str.contains('li')\])
 *  ValueError: cannot index with vector containing NA / NaN values
 *  0 True
 *  1 False
 *  2 False
 *  Name: name, dtype: bool
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 False
 *  1 False
 *  2 False
 *  Name: name, dtype: bool
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 False
 *  1 False
 *  2 False
 *  Name: name, dtype: bool
 *  name age state point
 *  0 Alice 24 NY 64
 *  1 Bob 42 CA 92
 *  2 Charlie? 18 CA 70
 *  print(df\_q\['name'\].str.contains('?'))
 *  error: nothing to repeat at position 0
 *  0 False
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 False
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  name age state point
 *  0 Alice 24 NY 64
 *  2 Charlie 18 CA 70
 *  0 False
 *  1 True
 *  2 False
 *  Name: name, dtype: bool
 *  name age state point
 *  1 Bob 42 CA 92
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  name age state point
 *  0 Alice 24 NY 64
 *  2 Charlie 18 CA 70
 *  0 True
 *  1 False
 *  2 True
 *  Name: name, dtype: bool
 *  0 False
 *  1 False
 *  2 False
 *  Name: name, dtype: bool
 *  欢迎使用Markdown编辑器
 *   *  新的改变
     *  功能快捷键
     *  合理的创建标题，有助于目录的生成
     *  如何改变文本的样式
     *  插入链接与图片
     *  如何插入一段漂亮的代码片
     *  生成一个适合你的列表
     *  创建一个表格
     *   *  设定内容居中、居左、居右
         *  SmartyPants
     *  创建一个自定义列表
     *  如何创建一个注脚
     *  注释也是必不可少的
     *  KaTeX数学公式
     *  新的甘特图功能，丰富你的文章
     *  UML 图表
     *  FLowchart流程图
     *  导出与导入
     *   *  导出
         *  导入

以下内容，如何使用pandas提取含有指定字符串的行的方法进行解释说明。

行的提取（选择）方法

完全匹配

==  
部分匹配

str.contains()：包含一个特定的字符串  
参数na：缺少值NaN处理  
参数case：大小写我的处理  
参数regex：使用正则表达式模式  
str.endswith（）：以特定字符串结尾  
str.startswith（）：以特定的字符串开头  
str.match（）：匹配正则表达式模式  
要提取部分匹配的行，可以使用pandas的（str.xxx（））方法，根据指定条件提取的字符串方法。  
这次以以下数据为例

import pandas as pd

df = pd.read\_csv(‘./data/08/sample\_pandas\_normal.csv’).head(3)  
print(df)

## name age state point ##

## 0 Alice 24 NY 64 ##

## 1 Bob 42 CA 92 ##

## 2 Charlie 18 CA 70 ##

行的提取（选择）方法  
首先，展示如何从pandas.DataFrame中提取（选择）行以获得新的pandas.DataFrame。

使用布尔值的布尔列表（数组）或pandas.Series的话，只能提取（选择）True行。

mask = \[True, False, True\]  
df\_mask = df\[mask\]  
print(df\_mask)

## name age state point ##

## 0 Alice 24 NY 64 ##

## 2 Charlie 18 CA 70 ##

因此，对于具有字符串元素的列，是否能够获得根据条件的布尔列表就足够了。

完全匹配

==  
如果元素与字符串完全匹配，则使用==获取为True的pandas.Series。

print(df\[‘state’\] == ‘CA’)

## 0 False ##

## 1 True ##

## 2 True ##

## Name: state, dtype: bool ##

print(df\[df\[‘state’\] == ‘CA’\])

## name age state point ##

## 1 Bob 42 CA 92 ##

## 2 Charlie 18 CA 70 ##

部分匹配

str.contains()：包含一个特定的字符串  
pandas.Series字符串方法str.contains（）允许获取包含特定字符串的pandas.Series.

print(df\[‘name’\].str.contains(‘li’))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

print(df\[df\[‘name’\].str.contains(‘li’)\])

## name age state point ##

## 0 Alice 24 NY 64 ##

## 2 Charlie 18 CA 70 ##

请注意，默认情况下，第一个参数中指定的字符串将作为正则表达式模式进行处理，如下所述。

参数na：缺少值NaN处理  
如果元素是缺失值NaN，则默认情况下它将返回NaN而不是True或False。因此，使用pandas.Series提取该行是错误的。

df\_nan = df.copy()  
df\_nan.iloc\[2, 0\] = float(‘nan’)  
print(df\_nan)

## name age state point ##

## 0 Alice 24 NY 64 ##

## 1 Bob 42 CA 92 ##

## 2 NaN 18 CA 70 ##

print(df\_nan\[‘name’\].str.contains(‘li’))

## 0 True ##

## 1 False ##

## 2 NaN ##

## Name: name, dtype: object ##

## print(df\_nan\[df\_nan\[‘name’\].str.contains(‘li’)\]) ##

## ValueError: cannot index with vector containing NA / NaN values ##

可以通过str.contains（）的参数na来指定替换NaN结果的值。

print(df\_nan\[‘name’\].str.contains(‘li’, na=False))

## 0 True ##

## 1 False ##

## 2 False ##

## Name: name, dtype: bool ##

print(df\_nan\[‘name’\].str.contains(‘li’, na=True))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

用作条件时，如果na = True，则选择NaN的行，如果na = False，则不选择NaN的行。

参数case：大小写我的处理  
默认情况下，区分大小写。如果参数case为False，则case被忽略。

print(df\[‘name’\].str.contains(‘LI’))

## 0 False ##

## 1 False ##

## 2 False ##

## Name: name, dtype: bool ##

print(df\[‘name’\].str.contains(‘LI’, case=False))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

参数regex：使用正则表达式模式  
使用str.contains（）时要记住的一件事是，默认情况下，指定为第一个参数的字符串将作为正则表达式模式进行处理。

print(df\[‘name’\].str.contains(‘i.\*e’))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

如果参数ragex为False，则确定是否包含第一个参数的字符串本身。

print(df\[‘name’\].str.contains(‘i.\*e’, regex=False))

## 0 False ##

## 1 False ##

## 2 False ##

## Name: name, dtype: bool ##

例如，如果要判断是否包含正则表达式的特殊字符，例如？，。，\*，则需要设置regex = False。当然，可以指定一个正则表达式模式，以转义\\？等特殊字符。

请注意，默认值可能会导致错误。

df\_q = df.copy()  
df\_q.iloc\[2, 0\] += ‘?’  
print(df\_q)

## name age state point ##

## 0 Alice 24 NY 64 ##

## 1 Bob 42 CA 92 ##

## 2 Charlie? 18 CA 70 ##

## print(df\_q\[‘name’\].str.contains(‘?’)) ##

## error: nothing to repeat at position 0 ##

print(df\_q\[‘name’\].str.contains(‘?’, regex=False))

## 0 False ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

print(df\_q\[‘name’\].str.contains(‘?’))

## 0 False ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

str.contains（）等同于re.search（），并且可以在flags参数中指定正则表达式标志。如稍后所述，还有对应于re.match（）的str.match（）。

请注意，下面要介绍的str.endswith（）如果想要确定end ?，会更容易，如本例所示。

str.endswith（）：以特定字符串结尾  
pandas.Series字符串方法str.endswith（）可以获取以特定字符串结尾的pandas.Series。

print(df\[‘name’\].str.endswith(‘e’))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

print(df\[df\[‘name’\].str.endswith(‘e’)\])

## name age state point ##

## 0 Alice 24 NY 64 ##

## 2 Charlie 18 CA 70 ##

str.endswith（）也有一个参数na。如果要选择缺失值NaN的行，则设置na = True；如果不想选择，则将na = False设置。

没有参数case，因此它始终区分大小写。

另外，第一个参数的字符串在确定中照原样使用，而不作为正则表达式模式处理。

str.startswith（）：以特定的字符串开头  
pandas.Series字符串方法str.startswith（）可以获取以特定字符串开头的pandas.Series。

print(df\[‘name’\].str.startswith(‘B’))

## 0 False ##

## 1 True ##

## 2 False ##

## Name: name, dtype: bool ##

print(df\[df\[‘name’\].str.startswith(‘B’)\])

## name age state point ##

## 1 Bob 42 CA 92 ##

str.match（）：匹配正则表达式模式  
pandas.Series字符串方法str.match（）可以获取与正则表达式模式匹配的pandas.Series。

print(df\[‘name’\].str.match(‘.\*i.\*e’))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

print(df\[df\[‘name’\].str.match(‘.\*i.\*e’)\])

## name age state point ##

## 0 Alice 24 NY 64 ##

## 2 Charlie 18 CA 70 ##

如上所述，str.match（）对应于re.match（），并确定字符串的开头是否与模式匹配。如果不是一开始就为False。

print(df\[‘name’\].str.match(‘.\*i’))

## 0 True ##

## 1 False ##

## 2 True ##

## Name: name, dtype: bool ##

print(df\[‘name’\].str.match(‘i.\*e’))

## 0 False ##

## 1 False ##

## 2 False ##

## Name: name, dtype: bool ##

当需要确定是否包括与模式匹配的部分时，不仅在开始时，而且默认使用与上述re.search（）等效的re.contains（）（regex = True）。

str.match（）与str.contains（）可以以相同的方式指定参数na，case和flag。

## 欢迎使用Markdown编辑器 ##

你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

### 新的改变 ###

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1.  **全新的界面设计** ，将会带来全新的写作体验；
2.  在创作中心设置你喜爱的代码高亮样式，Markdown **将代码片显示选择的高亮样式** 进行展示；
3.  增加了 **图片拖拽** 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4.  全新的 **KaTeX数学公式** 语法；
5.  增加了支持**甘特图的mermaid语法1** 功能；
6.  增加了 **多屏幕编辑** Markdown文章功能；
7.  增加了 **焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置** 等功能，功能按钮位于编辑区域与预览区域中间；
8.  增加了 **检查列表** 功能。

### 功能快捷键 ###

撤销：Ctrl/Command \+ Z  
重做：Ctrl/Command \+ Y  
加粗：Ctrl/Command \+ B  
斜体：Ctrl/Command \+ I  
标题：Ctrl/Command \+ Shift \+ H  
无序列表：Ctrl/Command \+ Shift \+ U  
有序列表：Ctrl/Command \+ Shift \+ O  
检查列表：Ctrl/Command \+ Shift \+ C  
插入代码：Ctrl/Command \+ Shift \+ K  
插入链接：Ctrl/Command \+ Shift \+ L  
插入图片：Ctrl/Command \+ Shift \+ G  
查找：Ctrl/Command \+ F  
替换：Ctrl/Command \+ G

### 合理的创建标题，有助于目录的生成 ###

直接输入1次\#，并按下space后，将生成1级标题。  
输入2次\#，并按下space后，将生成2级标题。  
以此类推，我们支持6级标题。有助于使用`TOC`语法后生成一个完美的目录。

### 如何改变文本的样式 ###

*强调文本* *强调文本*

**加粗文本** **加粗文本**

标记文本

删除文本

> 引用文本

H2O is是液体。

210 运算结果是 1024.

### 插入链接与图片 ###

链接: [link][].

图片: ![Alt][]

带尺寸的图片: ![Alt][]

居中的图片: ![Alt][Alt 1]

居中并且带尺寸的图片: ![Alt][Alt 1]

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

### 如何插入一段漂亮的代码片 ###

去[博客设置][Link 1]页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 `代码片`.

// An highlighted block
    var foo = 'bar';

### 生成一个适合你的列表 ###

*  项目
    
     *  项目
        
         *  项目

1.  项目1
2.  项目2
3.  项目3

*  计划任务
 *  完成任务

### 创建一个表格 ###

一个简单的表格是这么创建的：

<table> 
 <thead> 
  <tr> 
   <th>项目</th> 
   <th>Value</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>电脑</td> 
   <td>$1600</td> 
  </tr> 
  <tr> 
   <td>手机</td> 
   <td>$12</td> 
  </tr> 
  <tr> 
   <td>导管</td> 
   <td>$1</td> 
  </tr> 
 </tbody> 
</table>

#### 设定内容居中、居左、居右 ####

使用`:---------:`居中  
使用`:----------`居左  
使用`----------:`居右

<table> 
 <thead> 
  <tr> 
   <th align="center">第一列</th> 
   <th align="right">第二列</th> 
   <th align="left">第三列</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">第一列文本居中</td> 
   <td align="right">第二列文本居右</td> 
   <td align="left">第三列文本居左</td> 
  </tr> 
 </tbody> 
</table>

#### SmartyPants ####

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

<table> 
 <thead> 
  <tr> 
   <th>TYPE</th> 
   <th>ASCII</th> 
   <th>HTML</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Single backticks</td> 
   <td><code>'Isn't this fun?'</code></td> 
   <td>‘Isn’t this fun?’</td> 
  </tr> 
  <tr> 
   <td>Quotes</td> 
   <td><code>"Isn't this fun?"</code></td> 
   <td>“Isn’t this fun?”</td> 
  </tr> 
  <tr> 
   <td>Dashes</td> 
   <td><code>-- is en-dash, --- is em-dash</code></td> 
   <td>– is en-dash, — is em-dash</td> 
  </tr> 
 </tbody> 
</table>

### 创建一个自定义列表 ###

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

### 如何创建一个注脚 ###

一个具有注脚的文本。2

### 注释也是必不可少的 ###

Markdown将文本转换为 HTML。

### KaTeX数学公式 ###

您可以使用渲染LaTeX数学表达式 [KaTeX][]:

Gamma公式展示  Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \\Gamma(n) = (n-1)!\\quad\\forall n\\in\\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \\Gamma(z) = \\int\_0^\\infty t^\{z-1\}e^\{-t\}dt\\,. Γ(z)=∫0∞tz−1e−tdt.

> 你可以找到更多关于的信息 **LaTeX** 数学表达式[here][].

### 新的甘特图功能，丰富你的文章 ###

2014-01-072014-01-092014-01-112014-01-132014-01-152014-01-172014-01-192014-01-21已完成 进行中 计划一 计划二现有任务Adding GANTT diagram functionality to mermaid

*  关于 **甘特图** 语法，参考 [这儿][Link 2],

### UML 图表 ###

可以使用UML图表进行渲染。 [Mermaid][Link 2]. 例如下面产生的一个序列图：

张三李四王五你好！李四, 最近怎么样?你最近怎么样，王五？我很好，谢谢!我很好，谢谢!李四想了很长时间, 文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五

这将产生一个流程图。:

链接

长方形

圆

圆角长方形

菱形

*  关于 **Mermaid** 语法，参考 [这儿][Link 2],

### FLowchart流程图 ###

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0开始我的操作确认？结束yesno

*  关于 **Flowchart流程图** 语法，参考 [这儿][Link 3].

### 导出与导入 ###

#### 导出 ####

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 **文章导出** ，生成一个.md文件或者.html文件进行本地保存。

#### 导入 ####

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，  
继续你的创作。

--------------------

1.  [mermaid语法说明][Link 2] ↩︎
2.  注脚的解释 ↩︎

[link]: https://www.csdn.net/
[Alt]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw
[Alt 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw#pic_center
[Link 1]: https://mp.csdn.net/console/configBlog
[KaTeX]: https://khan.github.io/KaTeX/
[here]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
[Link 2]: https://mermaidjs.github.io/
[Link 3]: http://adrai.github.io/flowchart.js/