12-正则表达式

淩亂°似流年 2022-12-18 15:55 116阅读 0赞

# **掌握了XPath、CSS选择器，为什么还要学习正则？** #

正则表达式，用标准正则解析，一般会把HTML当做普通文本，用指定格式匹配当相关文本，适合小片段文本，或者某一串字符(比如电话号码、邮箱账户)，或者**HTML包含javascript的代码，无法用CSS选择器或者XPath**

在线正则表达式测试网站

http://tool.oschina.net/regex/

官方文档

https://docs.python.org/zh-cn/3/library/re.html

**了解正则表达式**

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"**规则字符串**"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

### 正则表达式常见概念 ###

*  **边界匹配**
    
    **^** — 与字符串开始的地方匹配，不匹配任何字符；
    
    **$** — 与字符串结束的地方匹配，不匹配任何字符；

str = "cat abdcatdetf ios"
      ^cat : 验证该行以c开头紧接着是a，然后是t
      ios$ : 验证该行以t结尾倒数第二个字符为a倒数第三个字符为c
      ^cat$: 以c开头接着是a->t然后是行结束：只有cat三个字母的数据行
      ^$   : 开头之后马上结束：空白行，不包括任何字符
      ^    : 行的开头，可以匹配任何行，因为每个行都有行开头

**\\b** — 匹配一个单词边界，也就是单词和空格之间的位置，不匹配任何字符；

"er\b"可以匹配"never"中的"er"，但不能匹配"verb"中的"er"。

\\B — \\b取非，即匹配一个非单词边界；

"er\B"能匹配"verb"中的"er"，但不能匹配"never"中的"er"。

*  **数量词的贪婪模式与非贪婪模式**
    
    正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪的则相反，总是尝试匹配尽可能少的字符。例如：

正则表达式"ab*"如果用于查找"abbbc"，将找到"abbb"。而如果使用非贪婪的数量词"ab*?"，将找到"a"。

*  **反斜杠问题**

与大多数编程语言相同，正则表达式里使用"\\"作为转义字符，这就可能造成反斜杠困扰。

假如你需要匹配文本中的字符"\\"，那么使用编程语言表示的正则表达式里将需要4个反斜杠"\\\\"：前两个和后两个分别用于在编程语言里转义成反斜杠，转换成两个反斜杠后再在正则表达式里转义成一个反斜杠。

Python里的原生字符串很好地解决了这个问题，这个例子中的正则表达式可以使用r"\\"表示。

同样，匹配一个数字的"\\d"可以写成r"\\d"。有了原生字符串，你再也不用担心是不是漏写了反斜杠，写出来的表达式也更直观。

import re
      a=re.search(r"\\","ab123bb\c")
      print a.group()
      \
      a=re.search(r"\d","ab123bb\c")
      print a.group()
      1

### **Python Re模块** ###

Python 自带了re模块，它提供了对正则表达式的支持。

###     ###

### **match函数** ###

re.match 尝试从字符串的**起始位置**匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

下面是此函数的语法：

re.match(pattern, string, flags=0)

这里的参数的说明：

<table> 
 <tbody> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td>pattern</td> 
   <td>这是正则表达式来进行匹配。</td> 
  </tr> 
  <tr> 
   <td>string</td> 
   <td>这是字符串，这将被搜索匹配的模式，在字符串的开头。</td> 
  </tr> 
  <tr> 
   <td>flags</td> 
   <td>标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。</td> 
  </tr> 
 </tbody> 
</table>

匹配成功re.match方法返回一个匹配的对象，否则返回None。

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

<table> 
 <tbody> 
  <tr> 
   <th>匹配对象的方法</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td>group(num=0)</td> 
   <td>此方法返回整个匹配（或指定分组num）</td> 
  </tr> 
  <tr> 
   <td>groups()</td> 
   <td>此方法返回所有元组匹配的子组（空，如果没有）</td> 
  </tr> 
 </tbody> 
</table>

### 例子： ###

#!/usr/bin/python
    import re
    line = "Cats are smarter than dogs"
    matchObj = re.match( r'(.*) are (.*?) .*', line, re.M|re.I)
    if matchObj:
       print "matchObj.group() : ", matchObj.group()
       print "matchObj.group(1) : ", matchObj.group(1)
       print "matchObj.group(2) : ", matchObj.group(2)
    else:
       print "No match!!"

当执行上面的代码，它产生以下结果：

matchObj.group() :  Cats are smarter than dogs
    matchObj.group(1) :  Cats
    matchObj.group(2) :  smarter

#### 正则表达式修饰符 - 选项标志 ####

正则表达式字面可以包含一个可选的修饰符来控制匹配的各个方面。修饰符被指定为一个可选的标志。可以使用异或提供多个修饰符（|），如先前所示，并且可以由这些中的一个来表示：

<table> 
 <tbody> 
  <tr> 
   <th>修饰符</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td><p>re.I</p><p>(re.IGNORECASE)</p></td> 
   <td>使匹配对大小写不敏感</td> 
  </tr> 
  <tr> 
   <td><p>re.M</p><p>(MULTILINE)</p></td> 
   <td>多行匹配，影响 ^ 和 $</td> 
  </tr> 
  <tr> 
   <td><p>re.S</p><p>(DOTALL)</p></td> 
   <td>使 . 匹配包括换行在内的所有字符</td> 
  </tr> 
  <tr> 
   <td><p>re.X</p><p>(VERBOSE)</p></td> 
   <td>正则表达式可以是多行，忽略空白字符，并可以加入注释</td> 
  </tr> 
 </tbody> 
</table>

### findall()函数 ###

re.findall(pattern, string, flags=0)

返回字符串中所有模式的非重叠的匹配，作为字符串列表。该字符串扫描左到右，并匹配返回的顺序发现

默认：
    pattren = "\w+"
    target = "hello world\nWORLD HELLO"
    re.findall(pattren,target)
            ['hello', 'world', 'WORLD', 'HELLO']
    re.I:   
            re.findall("world", target,re.I)
            ['world', 'WORLD']
    re.S:   
            re.findall("world.WORLD", target,re.S)
            ["world\nworld"]
            re.findall("hello.*WORLD", target,re.S)
            ['hello world\nWORLD']
    re.M:
            re.findall("^WORLD",target,re.M)
            ["WORLD"]
    re.X:
            reStr = '''\d{3}  #区号
                    -\d{8}''' #号码
            re.findall(reStr,"010-12345678",re.X) 
            ["010-12345678"]

###     ###

### search函数 ###

re.search 扫描整个字符串并返回第一个成功的匹配。

下面是此函数语法：

re.search(pattern, string, flags=0)

这里的参数说明：

<table> 
 <tbody> 
  <tr> 
   <th>参数</th> 
   <th>描述</th> 
  </tr> 
  <tr> 
   <td>pattern</td> 
   <td>这是正则表达式来进行匹配。</td> 
  </tr> 
  <tr> 
   <td>string</td> 
   <td>这是字符串，这将被搜索到的字符串中的任何位置匹配的模式。</td> 
  </tr> 
  <tr> 
   <td>flags</td> 
   <td>标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。</td> 
  </tr> 
 </tbody> 
</table>

匹配成功re.search方法返回一个匹配的对象，否则返回None。

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

#### 例子： ####

#!/usr/bin/python
    import re
    line = "Cats are smarter than dogs";
    searchObj = re.search( r'(.*) are (.*?) .*', line, re.M|re.I)
    if searchObj:
       print ("searchObj.group() : ", searchObj.group())
       print ("searchObj.group(1) : ", searchObj.group(1))
       print ("searchObj.group(2) : ", searchObj.group(2))
    else:
       print "Nothing found!!"

当执行上面的代码，它产生以下结果：

matchObj.group() :  Cats are smarter than dogs
    matchObj.group(1) :  Cats
    matchObj.group(2) :  smarter

####  ####

#### **re.match与re.search的区别** ####

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；**而re.search匹配整个字符串，直到找到一个匹配。**

#### 例子： ####

#!/usr/bin/python
    import re
    line = "Cats are smarter than dogs";
    matchObj = re.match( r'dogs', line, re.M|re.I)
    if matchObj:
       print "match --> matchObj.group() : ", matchObj.group()
    else:
       print "No match!!"
    searchObj = re.search( r'dogs', line, re.M|re.I)
    if searchObj:
       print "search --> searchObj.group() : ", searchObj.group()
    else:
       print "Nothing found!!"

当执行上面的代码，产生以下结果：

No match!!
    search --> matchObj.group() :  dogs

### **搜索和替换** ###

Python 的re模块提供了re.sub用于替换字符串中的匹配项。

### 语法 ###

re.sub(pattern, repl, string, max=0)

返回的字符串是在字符串中用 RE 最左边不重复的匹配来替换。

如果模式没有发现，字符将被没有改变地返回。可选参数 count 是模式匹配后替换的最大次数；count 必须是非负整数。缺省值是 0 表示替换所有的匹配。实例：

#### 例子 ####

下面是一个爬虫做翻页面例子：

#!/usr/bin/python
    import re
    url = "http://hr.t encent.com/position.php?&start=10"
    page = re.search('start=(\d+)',url).group(1)
    nexturl = re.sub(r'start=(\d+)', 'start='+str(int(page)+10), url)
    print ("Next Url : ", nexturl)

当执行上面的代码，产生以下结果：

Next Url :  http://hr.tencent.com/position.php?&start=20

###  ###

### 正则表达式语法 ###

下表列出了Python中可用正则表达式语法：

![format_png][]

《0基础python爬虫系列教程》

<table> 
 <tbody> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320125dc458833960e697aa9cf6efd4beda9850e74d05c284f0a9946d98fa93bb12a4324b3&amp;idx=2&amp;mid=2247485516&amp;scene=21&amp;sn=bb0633aa198a9ac55bfa74060155ee74#wechat_redirect" rel="nofollow">01为什么要学习爬虫</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc45881592fa51bd62b7d7820b4b506c4a3933a9fad6833d49ce360294f2fe0c6402&amp;idx=2&amp;mid=2247485546&amp;scene=21&amp;sn=9467b8493b4a252d7c39799e58813575#wechat_redirect" rel="nofollow">02-认识python爬虫</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320103dc4588155293377a2843fc247e3c404f19eb523b875e988e64bc544d98c1b8d7854b&amp;idx=3&amp;mid=2247485546&amp;scene=21&amp;sn=e588e1f9b369323817acb125a7a2fa13#wechat_redirect" rel="nofollow">03-爬虫基本原理</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc458973634e1f97683d26b920c3b23dd975286c595065c0e44c3f13a8c74274f7a2&amp;idx=2&amp;mid=2247485708&amp;scene=21&amp;sn=02145cd8d7f0ba50be1ad4f83e60c12b#wechat_redirect" rel="nofollow">04-爬虫利器Fiddler</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320065dc4589730f0f40ed783f45d1a71974a3037ede904e68fe967752f2def4daf04a8e16&amp;idx=3&amp;mid=2247485708&amp;scene=21&amp;sn=9fe3f40863c13431a80abb6a11bc8f1a#wechat_redirect" rel="nofollow">05-HTTP协议-</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc458951e91b4f5ac10d8580840e3fd8aa63ac8c217f8df2d9c643cbda75c22def9f&amp;idx=2&amp;mid=2247485742&amp;scene=21&amp;sn=6be1c823ade912410f109a7f42ffffd3#wechat_redirect" rel="nofollow">06-爬虫库urllib</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320047dc4589512a5d2062893b86474a037111067d05b57c04355b967c22b04ce3395ea96f&amp;idx=3&amp;mid=2247485742&amp;scene=21&amp;sn=7a54ccaa4836d2a7e5128f233e8c9e5d#wechat_redirect" rel="nofollow">07-TCP3</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892d17198bb56448b4600aabd63c84667dccd8fc032647300da843d0ea15be88&amp;idx=3&amp;mid=2247485778&amp;scene=21&amp;sn=f086472aa06577ab8c0567a927721994#wechat_redirect" rel="nofollow">08-页面解析之数据提取</a></td> 
  </tr> 
  <tr> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32003bdc45892dc9d2ae5b11e1ec1357a1d2884ad3d1de51775c02a3045c336068e2ba3b37&amp;idx=2&amp;mid=2247485778&amp;scene=21&amp;sn=adbe45fd796a285d8c54f38d2727c496#wechat_redirect" rel="nofollow">09-XPath 语言</a></td> 
   <td><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb32000edc45891837fbcaa3dc21becf71e86dcd25f599e7d8f59158bf339ddaad9f4c75dd90&amp;idx=2&amp;mid=2247485799&amp;scene=21&amp;sn=6ed8d9212f4bfb4d710523dfb478e9c4#wechat_redirect" rel="nofollow">10-lxml库‍‍</a></td> 
  </tr> 
  <tr> 
   <td colspan="1"><a href="http://mp.weixin.qq.com/s?__biz=MzI3MjM5MjE5OA%3D%3D&amp;chksm=eb320010dc458906991372249d605f7ac28b1bf649ce55cf5ba1255b42d9b153b003d6c9ccfd&amp;idx=2&amp;mid=2247485817&amp;scene=21&amp;sn=fc3c41347968b123ed51d0c61508428c#wechat_redirect" rel="nofollow">11-Beautiful Soup</a><br></td> 
   <td colspan="1"><br></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td align="center"><p><img src="https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy85eTFUZUhZejFBenluRzJDaWFvTElXMDRZbmNMcmlhdUhIc2NBeWFUaWE2MnNPdHJCZmtzQ3F1ME93ZWliaWFMYkZUaWJCMzk0dXF5MUlJWHYxOGJyY3E5M0pTdy82NDA?x-oss-process=image/format,png"></p><p>IT入门&nbsp;感谢关注</p></td> 
   <td align="left"><p>一学就会&nbsp;Python入门教程 →</p><p>程序员用的单词表→</p><p>练习地址：www.520mg.com/it</p></td> 
  </tr> 
 </tbody> 
</table>

[format_png]: /images/20221122/0f0fd596c4e243ccafa7190881e62a14.png