应急管理部网站爬取重特大事故督办信息并进行数据清洗

朴灿烈づ我的快乐病毒、 2022-12-20 02:25 39阅读 0赞

### 应急管理部网站爬取重特大事故督办信息并进行数据清洗 ###

*  引言
 *  1 Robots协议
 *  2 网站请求初试
 *  3 外层信息的获取
 *   *  3.1 网页规律查找
     *  3.2 完善获取url的函数
     *  3.3 请求外层信息
 *  4 内层数据获取
 *   *  4.1 封装获取具体url链接的函数
     *  4.2 封装获取具体内容的函数
     *  4.3 启动爬虫
     *  4.4 最后异常处理
 *  5 数据清洗
 *  6 全部代码
 *   *  6.1爬虫代码
     *  6.2 数据清洗代码
 *  代码仅供参考，不涉及商用和恶意破坏网络环境

手动反爬虫： [原博地址][Link 1]

知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息

如若转载，请标明出处，谢谢

# 引言 #

想要找一些数据，然后翻到了应急管理部的网站了，接着就是查看一下里面的公开信息，其中有个板块是“事故查处”，默认列出“事故挂牌督办情况”的信息，共有30页，翻开一下，发现里面有着每起事故的通告，如下。于是就有了爬爬看的想法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center]

# 1 Robots协议 #

爬虫之前，对于政府网站，还是要尊重一下是否有相关的爬虫协议，这里就是以“[应急管理网][Link 2]”首页和[数据所在的页面][Link 3]查看robots协议，搜索结果如下，可以发现并没有设置相关的反爬规定，爬取的数据一共只有448条，并不会造成大量的网络冲击，那么接下来就开始一步步爬虫测试  
![在这里插入图片描述][20201109214450373.png_pic_center]

# 2 网站请求初试 #

还是直接使用爬虫框架来进行网页请求的试错，看看是否能够返回自己想要的数据，代码如下（注意headers里面的内容根据自己浏览器返回的内容填写）

import requests
    import time
    import re
    import os
    import pandas as pd
    from bs4 import  BeautifulSoup
    
    
    def get_url():
    	pass
    
    def get_data():
    	pass
    
    def get_contents():
    	pass
    
    if __name__ == '__main__':
    	url = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'
    	headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
    		   'Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml',
    		   'Cookie': 'e50c=1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}
    	html = requests.get(url,headers=headers)
    	html.encoding = html.apparent_encoding
    	print(html.text)

输出结果为：（通过请求试探，发现可以得到我们需要的数据，那么接下来就填写函数中的内容就可以了）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 1]

# 3 外层信息的获取 #

## 3.1 网页规律查找 ##

如果要想获得448条数据，那么数据分散在30个网页上，就需要依次遍历找到所有页面对应的网址。获取外层信息就是指获取包含数据的翻页网址的url信息，还是熟悉的步骤，先找几页网址的url看看规律，比如这里查找第1,2,3,4页，网址如下：

u1 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/'
    u2 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_1.shtml'
    u3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_2.shtml'
    u4 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_3.shtml'

显然这个第2页往后url都是有规律的，按照之前的经验，是不是第一页的也是可以使用相同的规律呢（也就是添加后缀index\_0.shtml），于是就可以测试一下，将第一个网址改成相同规律的网址再次进行请求，请求结果如下：（说明这次的第一个网页并不支持以往的规律，因此就需要单独进行处理）

![在这里插入图片描述][20201109220823242.png_pic_center]

## 3.2 完善获取url的函数 ##

模板中的第一个函数就是用来获取所有的url，然后将包含全部信息的url都放置在列表中返回，既然第一页不支持普遍的规律，就单独赋予列表变量，然后再处理接下来的网页url，代码如下：

def get_url():
    	urllst = []
    	urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')
    	urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])
    	return urllst

输出结果为：（一共30页，最后的urllst列表中也有20个元素，与网页的url相对应）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 2]

## 3.3 请求外层信息 ##

这时候就以获取第一页中的信息为例，直接在页面中右键进入源代码界面，找到页面中想要爬取内容所在的位置，推荐的方式就是复制网页的内容，然后再打开源代码界面后按住ctrl + f快捷键调出查找选框，然后把复制的结果输入到查找选框中，就可以自动定位到元素位置，如下:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 3]  
那么通过定位元素发现，可以获得的信息有通告的时间、具体的标题名称还有这个通告的具体的详情网址链接。关于标题和时间都是很好提取，但是关于具体的url链接却有一定的难度，比如截图中一共5条数据中，就有3中不同的网址格式且都缺少前缀，然后把这三种不同链接打开后对应的具体的网址如下，而剩下的链接也都是属于这三类（下面打开的是第1,2,4条链接，网址直接复制在浏览器上均可正常打开）

href1 = 'http://www.mem.gov.cn/gk/tzgg/202006/t20200617_353972.shtml'
    href2 = 'http://www.mem.gov.cn/gk/tzgg/tz/202001/t20200103_343066.shtml'
    href3 = 'http://www.mem.gov.cn/gk/sgcc/sggpdbqk/2019_gpdb/201912/t20191216_342337.shtml'

因此这里就需要单独封装一个函数，来处理url链接的问题，为了保证获取数据的同步性，先将所有的url链接都使用一个变量名代替，之后另外封装一个函数，传递这个变量返回处理后具体的url链接，代码如下

def get_data(url):
    	html = requests.get(url,headers = headers)
    	html.encoding = html.apparent_encoding
    	pattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')
    	infos = re.findall(pattern,html.text)
    	data_ls = []
    
    	for info in infos:
    		dic = { }
    		dic['tilte'] = info[1]
    		dic['time'] = info[2]
    		url_ = info[0]
    		detail_url = filter_url(url_) #这里直接把简化的url传递到函数中进行处理
    		dic['detail_url'] = detail_url #最后获得的就是详细的url地址了
    		dic['contents'] = get_contents(detail_url)
    		data_ls.append(dic)
    	return data_ls

获得详细url地址后就可以进入内层的网页中获取通告的具体内容了，如下界面所示，获取具体内容的方式也是同理，由于上一步通过函数返回了具体的detail\_url，那么使用这个detail\_url传入获取内容的函数就能够获取想要的内容了

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 4]

# 4 内层数据获取 #

## 4.1 封装获取具体url链接的函数 ##

上面已经使用了filter\_url(url\_)，那么接下来完善这个函数中的内容即可。代码如下：

def filter_url(url_):
    	if '..' in url_:
    		base_path = url_.split('./')[-1]
    		detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)
    	else:
    		base_path = url_.split('./')[-1]
    		detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)
    	return detail_url

代码解析：可以发现有三种url链接的形式，那么就一一进行击破，首先第一类的url链接中包含的是有’…‘的，那么进行存在与否判断就可以提取到这类url链接；第二类和第三类在尝试的过程中发现使用’./'进行切分时候这两类的url链接就直接获取了，因此也就实现了完整url的获取，最后返回detail\_url，作为具体内容获取的依据

## 4.2 封装获取具体内容的函数 ##

上面使用的是 get\_contents(detail\_url)函数，这里直接在函数中填写内容即可，主要是请求页面和找寻目标数据的过程。但是这里发现有一个问题，就是如果直接在源代码网页中进行数据的正则匹配，难度有点大，所以就采用了bs4解析界面后在用正则进行数据的提取，同时剔除掉无关的数据，获取到相对干净的数据，代码如下

def get_contents(detail_url):
    	html = requests.get(detail_url,headers = headers)
    	html.encoding = html.apparent_encoding
    	soup = BeautifulSoup(html.text,'lxml')
    	contents = soup.find('div', class_="zhenwen_neir").text
    	contents = re.sub(r'\s+','',contents) #这一步替换掉一些符号
    	contents = re.sub(r"jQuery.*?打开当前页面",",",contents)  #这一步是把最后面的二维码信息给替换掉
    	return contents

## 4.3 启动爬虫 ##

还是习惯的方式，先用urllst里面的第一个网页进行数据的尝试获取

urllst = get_urls()
    
    for url in urllst[:1]:
    	print(get_data(url))

输出结果为：（试错无误后，就可以进行全部网页数据的爬取了，为了防止报错，建议使用随机时间处理和异常报错处理）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 5]

## 4.4 最后异常处理 ##

前面已经完成了对第一页数据的获取，那么接下来就可以实现全部的数据的获取，代码如下

urllst = get_urls()
    success_ls = []
    error_ls = []
    print('正在爬取........\n')
    for u in urllst:
    	print(u)
    	try:
    		success_ls.extend(get_data(u))
    		print('已经爬取{}条数据'.format(len(success_ls)))
    		time.sleep(3)
    		print('爬累了，休息3秒吧......')
    	except Exception as e:
    		print('爬取失败，目标网址为：',u)
    		error_ls.append(u)
    df = pd.DataFrame(success_ls)
    df.to_excel('挂牌督办详情.xlsx',index = False)

输出结果为：（最后的全部的数据都获取成功）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 6]

# 5 数据清洗 #

这一步在爬虫的时候也进行了相关的操作，比如网页中最后二维码的清除和特殊字符，主要是因为这类数据清洗比较方便，就在爬取数据的时候顺带解决了，那么接下来就是要获取文章中具体的事故名称，如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 7]  
关于复杂信息的提取，最好的方式（个人觉得）还是在爬取全部数据之后进行提取，这样方便即时调整提取策略，不然在爬虫的时候进行提取就会每测试一次策略就进行一次爬虫，结果会大大的占用程序的运行时间，所以还是建议复杂字段数据的处理放在爬虫后面，这样可以提高程序的运行效率和任务的成功率。代码如下，具体的思路就是找到共同点，发现几乎所有的网页公布的信息中都有“对…事故进行…”字样，故就可依此进行查找，如果匹配成功就进行数据提取，不成功就用空值替代，最后把前面的代词给替换掉就可以实现事故名称的提取，完成数据清洗。

import pandas as pd
    import re
    import numpy as np
    def f(s):
    	x = re.search(r'对(.*?事故)', s)
    
    	if x:
    		s = x.group(1)
    	else:
    		s = np.nan
    	return s
    data = pd.read_excel('挂牌督办详情.xlsx')
    data['name'] = data.contents.map(f)
    data['name'] = data['name'].str.replace(r'[你省|你区|你市]','')
    data.to_excel('filter_1.xlsx',index = False)

数据清洗的过程就是找规律的过程，还有就是对于正则提取文字能力的考验，针对于获取结果的不同设定不同的提取规则。

# 6 全部代码 #

## 6.1爬虫代码 ##

（注意自己设置headers）

import requests
    import time
    import re
    import os
    import pandas as pd
    from bs4 import  BeautifulSoup
    
    def get_urls():
    	urllst = []
    	urllst.append('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml')
    	urllst.extend([f'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index_{i}.shtml' for i in range(1,30)])
    	return urllst
    
    def get_data(url):
    	html = requests.get(url,headers = headers)
    	html.encoding = html.apparent_encoding
    	pattern = re.compile(r'<a href="(.*?)" title="" target="_blank" >(.*?)<span>(.*?)</span></a>')
    	infos = re.findall(pattern,html.text)
    	data_ls = []
    
    	for info in infos:
    		dic = { }
    		dic['tilte'] = info[1]
    		dic['time'] = info[2]
    		url_ = info[0]
    		detail_url = filter_url(url_)
    		dic['detail_url'] = detail_url
    		dic['contents'] = get_contents(detail_url)
    		data_ls.append(dic)
    	return data_ls
     
    def filter_url(url_):
    	if '..' in url_:
    		base_path = url_.split('./')[-1]
    		detail_url = os.path.join('https://www.mem.gov.cn/gk/',base_path)
    	else:
    		base_path = url_.split('./')[-1]
    		detail_url = os.path.join('https://www.mem.gov.cn/gk/sgcc/sggpdbqk/',base_path)
    	return detail_url
    
    def get_contents(detail_url):
    	html = requests.get(detail_url,headers = headers)
    	html.encoding = html.apparent_encoding
    	soup = BeautifulSoup(html.text,'lxml')
    	contents = soup.find('div', class_="zhenwen_neir").text
    	contents = re.sub(r'\s+','',contents)
    	contents = re.sub(r"jQuery.*?打开当前页面",",",contents)
    	return contents
    
    if __name__ == '__main__':
    	
    	headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
                   'Referer': 'https://www.mem.gov.cn/gk/sgcc/sggpdbqk/index.shtml',
                   'Cookie': '1602040171,1603518059,1603883178; Hm_lpvt_7c3492d683dc7a90fd44bf8bfd57e50c=1603883919'}
    
    	urllst = get_urls()
    	success_ls = []
    	error_ls = []
    	print('正在爬取........\n')
    	for u in urllst:
    		print(u)
    		try:
    			success_ls.extend(get_data(u))
    			print('已经爬取{}条数据'.format(len(success_ls)))
    			time.sleep(3)
    			print('爬累了，休息3秒吧......')
    		except Exception as e:
    			print('爬取失败，目标网址为：',u)
    			error_ls.append(u)
    	df = pd.DataFrame(success_ls)
    	df.to_excel('挂牌督办详情34.xlsx',index = False)

执行结果如下，进行前两页数据的爬取展示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70]

## 6.2 数据清洗代码 ##

输出结果为：（几乎全部进行提取出来，只有三条未成功）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 8]

# 代码仅供参考，不涉及商用和恶意破坏网络环境 #

[Link 1]: https://blog.csdn.net/lys_828/article/details/109586985
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/1d1fb4ae9a9f45d593682a01da670521.png
[Link 2]: http://www.mem.gov.cn/
[Link 3]: http://www.mem.gov.cn/gk/sgcc/sggpdbqk/
[20201109214450373.png_pic_center]: https://img-blog.csdnimg.cn/20201109214450373.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/2020110921591824.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[20201109220823242.png_pic_center]: https://img-blog.csdnimg.cn/20201109220823242.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201109221320876.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201109221858145.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201109223138738.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201109225043289.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20201109225517658.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20201109225757733.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201109230815572.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/20201109231128830.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x5c184Mjg=,size_16,color_FFFFFF,t_70#pic_center