使用re模块定位网页数据--Python

女爷i 2023-02-26 13:23 228阅读 0赞

> 尽管我们使用urllib.request可以获取到网页的所有数据，但是要获取我们想要的数据还需要进一步进行数据处理。本篇主要介绍如何使用python的re模块进行数据定位及获取。

#### 1、目标网页源码观察 ####

*  首先来到我们的目标网页之一：[国防科技大学2016年录取分数统计][2016]，观察其网页结构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70]
 *  可以看到网页中用一个表格进行数据的显示，因此我们只需要获取表格的数据。右键点击“**查看网页源代码**”
 *  查看到的网页源代码大致如下  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70 1]
 *  在网页源代码中找到我们需要的数据内容是保存在源代码中的< table > 标签中![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70 2]

#### 2、确定数据定位方法 ####

*  从源代码中可以看出我们需要的各地录取分数线存放在< table >标签中的< td >单元格中，仔细观察可以直接定位到< td >中的 < span >标签的位置

<td colspan="3" style="border-style: solid solid solid none; padding: 0cm 5.4pt; width: 246px; height: 34px; border-top-color: windowtext; border-right-color: windowtext; border-bottom-color: windowtext; border-top-width: 1pt; border-right-width: 1pt; border-bottom-width: 1pt;">
    	<p align="center" style="text-align: center;">
    		<strong><span style="font-family: 楷体_gb2312;"><span style="font-size: 14pt;">工程技术类</span></span></strong></p>
    </td>

<span style="font-size: 14pt;">工程技术类</span>

*  在前一篇文章中我们提到了使用关键字的index进行定位，这里并不适用。**使用index进行定位比较适用于所需数据的形式（字符数、间隔）有规律的情况下**，因此在这里我们并不使用index进行定位。
 *  1、首先需要定位并获取到表格的内容

table = re.findall(r'<table(.*?)</table>', data, re.S)
    firsttable = table[0]           # 取网页中的第一个表格

*  2、按tr标签对获取表格中所有行，保存在列表rows中

score = []
    s=''
    for i in firsttable:
    	s=s+str(i)
    rows=re.findall(r'<tr(.*?)</tr>',s,re.S)

*  3、 迭代rows中的所有元素，获取每一行的td标签内的数据，添加到score列表

for i in rows:
    	td=re.findall(r'<spanstyle="font-size:14pt;">(.*?)</span>',i,re.S)       
        score.append(td)
    score=score[2:]

#### 3、代码部分 ####

import urllib.request as req
    import re
    
    url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/info/2017/717.html'
    
    def GetData(url):
        webpage = req.urlopen(url)      # 根据超链访问链接的网页
        data = webpage.read()           # 读取超链网页数据
        data = data.decode('utf-8')     # byte类型解码为字符串
    
        # 获取网页中的第一个表格中所有内容：
        table = re.findall(r'<table(.*?)</table>', data, re.S)
        firsttable = table[0]           # 取网页中的第一个表格
        # 数据清洗，将表中的&nbsp，\u3000，和空格号去掉
        firsttable = firsttable.replace(' ', '')
        firsttable = firsttable.replace('\u3000', '')
        firsttable = firsttable.replace(' ', '')
        score = []
        # 按tr标签对获取表格中所有行，保存在列表rows中：
        s=''
        for i in firsttable:
            s=s+str(i)
        rows=re.findall(r'<tr(.*?)</tr>',s,re.S)
    
        # 迭代rows中的所有元素，获取每一行的td标签内的数据，添加到score列表：
        for i in rows:
            td=re.findall(r'<spanstyle="font-size:14pt;">(.*?)</span>',i,re.S)       
            score.append(td)
        score=score[2:]
        
        return score
    print(GetData(url))

获取到国防科学技术大学2016年各省份录取分数统计如下

[['最高分', '最低分', '平均分', '最高分', '最低分', '平均分'], ['甘肃', '490', '632', '621', '625', '630', '597', '608'], ['吉林', '530', '658', '639', '649', '634', '599', '615'], ['新疆', '464', '673', '617', '630', '612', '534', '578'], ['广西', '502', '642', '601', '620', '603', '584', '592'], ['上海', '360', '489', '475', '480', '/', '/', '/'], ['广东', '508', '641', '600', '613', '619', '585', '597'], ['内蒙古', '484', '641', '615', '627', '623', '558', '597'], ['陕西', '470', '665', '628', '638', '639', '596', '615'], ['四川', '532', '665', '626', '643', '651', '612', '623'], ['黑龙江', '486', '667', '623', '641', '628', '580', '600'], ['安徽', '518', '655', '620', '631', '647', '608', '621'], ['河北', '525', '682', '654', '667', '669', '640', '649'], ['江西', '529', '645', '614', '629', '613', '589', '599'], ['浙江', '600', '692', '670', '679', '676', '652', '661'], ['湖南', '517', '662', '635', '644', '646', '593', '609'], ['宁夏', '465', '637', '565', '597', '590', '481', '526'], ['山东', '537', '679', '655', '665', '660', '597', '637'], ['河南', '523', '665', '644', '652', '659', '629', '638'], ['山西', '519', '639', '617', '625', '638', '579', '599'], ['天津', '512', '659', '634', '649', '600', '537', '567'], ['北京', '548', '662', '607', '629', '613', '570', '592'], ['重庆', '525', '671', '644', '655', '654', '634', '642'], ['云南', '525', '680', '653', '663', '663', '627', '639'], ['青海', '416', '596', '562', '580', '571', '502', '533'], ['江苏', '353', '404', '376', '386', '384', '355', '366'], ['福建', '465', '632', '614', '623', '606', '485', '576'], ['海南', '602', '829', '710', '750', '737', '672', '700'], ['贵州', '473', '671', '627', '643', '658', '600', '616'], ['辽宁', '498', '660', '624', '637', '641', '607', '621'], ['湖北', '512', '665', '622', '640', '637', '604', '614']]

> 下一片结合前两篇内容给大家介绍如何使用获取到的数据写入到excel表格中并绘制图像曲线

[2016]: http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/info/2016/663.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70]: /images/20230209/f21dd161004a4c89b835785992f948d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70 1]: /images/20230209/c84ccd71b41a441ea4fa70975e7eb530.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200719155724968.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY2ODM3NA==,size_16,color_FFFFFF,t_70