正则表达式在网页文件中文本识别匹配的应用

╰半橙微兮° 2023-01-09 14:27 101阅读 0赞

# 写在前面 #

2021年第一篇博客。  
博主在编程学习过程中，如果说有哪个问题学起来感觉最费劲，那就一定是正则表达式了，其灵活的表达式还有各种限定、扩展让人无比头大，而博主工作中用的正则表达式很少，所以总是记不住。  
趁着最近在看《Python核心编程》这本书，第一章就是正则表达式，又系统的学习了一遍，虽然还是一知半解，但稍微又理解了那么一点点。顺便拿个例子来练练手，记录一下思路，忘记时再过来翻翻。

*  编程语言：Python3.7
 *  编译器：Spyder

# 业务需求 #

博主的目标是从一个网页文档中提取一堆经纬度数据，先给大家看看文档的核心内容：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70]  
图片中，我框出来的红色部分的经纬度坐标是我要提取出来的东西，但我并非要提取成一个一个的点，而是一组一组的点，比如第一组就是我框出来的两个点4个坐标值，这两个点要在一个子列表中，这个子列表应该还有两个子列表，也就是那两个点的坐标。绕不绕，我觉得挺绕，上图片比较直观，我最后想要获取的结果如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 1]  
这样够清楚了吧。  
需求讲明白了就开始写代码吧。

# 代码实现 #

## 网页标签提取 ##

前面说了，我这是一个网页文档，什么东西处理网页文档最高效，那当然是beautifulsoup，我要提取的核心内容在网页的第6个script标签中，所以我要写一段下面的代码：

from bs4 import BeautifulSoup
    import re
    
    filename = r'XXXX.html'
    soup = BeautifulSoup(open(filename,encoding='utf-8'),features='html.parser')
    soup = soup.find_all('script')
    text = str(soup[5])

这是beautifulsoup的内容，我不细解释了，现在看看text的内容：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 2]  
需要的内容在L.polyline(的下一行里面。

## 构建正则化表达式 ##

分析一下字符串结构：  
![在这里插入图片描述][20210121164616732.png]  
很明显，我要的东西是以.polyline(开头，换行之后的下一组经纬度坐标，所以标准的正则表达式应该是:  
**polyline(\\n\\s+(\[\[.\*?\]\])**  
下面我来解释一下这个正则表达式的意义：

1.  polyline这个可写可不写，因为我的文件里面可能还有其他点不是polyline的内容，所以我写上保证提取出来的点全是polyline里面的内容；
2.  \\ (匹配左圆括号；
3.  \\n匹配换行；
4.  \\s+匹配一个或者多个空格，\\s是匹配空格，+是匹配其次或多次；
5.  (\[\[.\*?\]\])这一组比较关键，首先我有一组圆括号()并没有使用转义符\\，那肯定不是匹配圆括号了，圆括号在正则表达式中可以实现下面任意一个（或者两个）功能，一是对正则表达式进行分组，二是匹配子组，这里就是匹配子组了；我写了两组\[\[及对应的\]\]用来表示我要匹配的字符串前后要有两个方括号，. \*?用来匹配任意长度的字符串，其中?表示最短匹配，也就是说匹配到最短符合的那一个，如果不写?就成了贪婪匹配，匹配到最长的那个。

解释完了，那在Python里面到底该怎么写呢？看代码

res2 = re.findall('polyline\(\n\s+(\[\[.*?\]\])', text, re.DOTALL)

代码中我传入参数re.DOTALL，这又是个啥意思呢？  
re.DOTALL表示.可以匹配换行符（\\n），作用是能真正的匹配所有字符，默认情况下，正则表达式中的dot（.），表示所有除了换行的字符，加上re.DOTALL参数后，就是真正的所有字符了，包括换行符（\\n）。  
换句话说，如果我不传入re.DOTALL参数，.就匹配不到文档中的换行符。  
还有个问题我得解释，为啥我这里使用的是最短匹配呢，也就是为啥我写的是. \*?而非. \*，正常情况下. \*应该也是能匹配任意长度的字符串的，那正是因为我传入了re.DOTALL参数，导致我的正则表达式可以识别换行符了，那样如果用贪婪匹配的话，它就能找到最长符合的那个字符串，包括已经换行的内容，这显然不是我要的目的。  
其实还可以这么写：

res2 = re.findall('polyline\(\n\s+(\[\[.*\]\])', text)

使用贪婪匹配，但是不传入re.DOTALL参数，那我匹配出来的永远只是那一行里面的内容，匹配结果一样。  
好了，看看我匹配出来的是啥玩意儿吧：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 3]

## 字符串解析 ##

对是对了，但是列表里面的内容全是字符串，而非有用的经纬度坐标，所以我还要对字符串进行处理，写一段下面的代码：

for i in range(len(res2)):
        res2[i] = res2[i].replace('[[', '').replace(']]', '').replace(' ','').split('],[')
        for j in range(len(res2[i])):
            res2[i][j] = res2[i][j].split(',')
            for k in range(len(res2[i][j])):
                res2[i][j][k] = float(res2[i][j][k])

这段是数据清洗的内容，不详细讲了。

# 完整代码 #

from bs4 import BeautifulSoup
    import re
    
    filename = r'C:\Users\HP\Desktop\在办工作\25-所级课题研究\典型道路事故\钱荣路.html'
    soup = BeautifulSoup(open(filename,encoding='utf-8'),features='html.parser')
    soup = soup.find_all('script')
    text = str(soup[5])
    
    # 第二种匹配方法
    # 未转义的一组圆括号用来分组匹配，.*?用来匹配任意长度的字符串，其中?表示最短匹配，
    # 也就是说匹配到最短符合的那一个，如果不写?就成了贪婪匹配，匹配到最长的那个，
    # re.DOTALL表示.可以匹配换行符（\n），作用是能真正的匹配所有字符
    res2 = re.findall('polyline\(\n\s+(\[\[.*?\]\])', text, re.DOTALL)
    # 上面取出来的列表里的元素是字符串，还是需要转换才行
    for i in range(len(res2)):
        res2[i] = res2[i].replace('[[', '').replace(']]', '').replace(' ','').split('],[')
        for j in range(len(res2[i])):
            res2[i][j] = res2[i][j].split(',')
            for k in range(len(res2[i][j])):
                res2[i][j][k] = float(res2[i][j][k])

注释里可以看到，这是我的第二种匹配方法，第一种写的，简直一塌糊涂，就不丢人现眼了。

# 写在后面 #

正则表达式是编程人员需要掌握的一个重点知识点，这篇博客是我在摸索很久后一直感觉不得要领，然后向读研时的同袍学习后总结的，学习路上需要有个领路人，虽然已经很久不见，但是依然是值得信赖的好基友。  
努力学习，共勉。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70]: /images/20221119/f1fa91f30e974838a7d3f2ed103968a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 1]: /images/20221119/5870c5877be548a9b7411c130a986a50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 2]: /images/20221119/7ecfbe30dc7e447f862d044bf95ea215.png
[20210121164616732.png]: /images/20221119/8999b3a22e6f4c6098e23196a3a48815.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI4NDgzMDQ_size_16_color_FFFFFF_t_70 3]: /images/20221119/c710e5b0f4cb433cb9eb1c109cc80dd5.png