想学爬虫爬取网页，但是不知道流程？

墨蓝 2023-10-07 21:21 14阅读 0赞

> 爬取网页总体概述：  
> 1.使用urllib请求网页，获取网页源码。  
> 2.使用bs4配合re正则表达式进行页面数据解析，获取到自己想要的数据。  
> 3.使用pymysql保存到数据库或xlwt保存成excel文件。

**温馨提示：学习之前需要先了解py基础知识，urllib库、网页相关知识、bs4库、re库、正则表达式、pymysql库、xlwt库等知识。这里推荐菜鸟教程，地址：[点击查看][Link 1]。**

### 一、urllib请求网页 ###

1、通过urllib.request.Request构造request请求，可为request加各类参数，比如常添加的header信息。  
![在这里插入图片描述][ac35bce6ac2e4028b086e6101137d08c.png]

2、将构造好的request请求放置urllib.request.urlopen方法中，方法会返回一个响应response。  
![在这里插入图片描述][84506a1548b849e39b9eb1d930698f4e.png]

3、使用response.read方法可以获取网页内容。  
![在这里插入图片描述][31c24b224d524e0a99ad0735f8643a12.png]

### 二、bs4解析html源码 ###

1、使用BeautifulSoup去解析urllib获取到的html源码。  
![在这里插入图片描述][11d91548450e4ceaac4aa9b6de9e5dd0.png]

2、分析网页，使用find\_all找到自己需要的html块。  
![在这里插入图片描述][4365bc43822f4d35b9f82ff8b8c082dc.png]

### 三、re正则表达式筛选有用信息 ###

1、使用re.compile方法构建正则表达式。（注意：加上r，避免不必要的字符被转义。）  
![在这里插入图片描述][3fe956d1bc8747e28a9bf83c68cf799a.png]

2、将html块转换为字符串，通过re.findall+构建的表达式找到我们需要的数据。  
![在这里插入图片描述][af4ee9b2b4c847c3a7f3d28ba8593ba7.png]

### 四、保存数据（xlwt、pymysql使用） ###

1、通过xlwt保存到表格文件

（1）通过xlwt.Workbook创建xls表![在这里插入图片描述][d547c289bced4e8f8924987e8924fc73.png]

（2）通过add\_sheet创建sheet表![在这里插入图片描述][8fee7734e5984c59abcdf9a8ba68f9f6.png]

（3）通过write添加表头![在这里插入图片描述][cdcf6fc5cc60448a88718b423c3d7751.png]

（4）插入数据![在这里插入图片描述][e84a382eaa5c4230aa97e2e7909813fe.png]

2、通过pymysql保存到数据库

（1）初始化数据库![在这里插入图片描述][9bf0f6ab52fb476ca29d2fd33e612d41.png]

（2）生成游标，编写sql语句![在这里插入图片描述][425905e291d34e368795a6e213ee0bae.png]

（3）执行sql语句![在这里插入图片描述][420bc57ae11e44ef83b84daeb589698a.png]

（4）关闭数据库  
![在这里插入图片描述][628e8780e4fd454f9decfccddebef880.png]

> 本文以爬取电影为例，编写了代码。源代码仅提供学习使用，请勿用于商业用途。
> 
> "IT学习小镇"号内回复“douban”即可获取源码。

[Link 1]: https://www.runoob.com/python3/python3-tutorial.html
[ac35bce6ac2e4028b086e6101137d08c.png]: https://img-blog.csdnimg.cn/ac35bce6ac2e4028b086e6101137d08c.png
[84506a1548b849e39b9eb1d930698f4e.png]: https://img-blog.csdnimg.cn/84506a1548b849e39b9eb1d930698f4e.png
[31c24b224d524e0a99ad0735f8643a12.png]: https://img-blog.csdnimg.cn/31c24b224d524e0a99ad0735f8643a12.png
[11d91548450e4ceaac4aa9b6de9e5dd0.png]: https://img-blog.csdnimg.cn/11d91548450e4ceaac4aa9b6de9e5dd0.png
[4365bc43822f4d35b9f82ff8b8c082dc.png]: https://img-blog.csdnimg.cn/4365bc43822f4d35b9f82ff8b8c082dc.png
[3fe956d1bc8747e28a9bf83c68cf799a.png]: https://img-blog.csdnimg.cn/3fe956d1bc8747e28a9bf83c68cf799a.png
[af4ee9b2b4c847c3a7f3d28ba8593ba7.png]: https://img-blog.csdnimg.cn/af4ee9b2b4c847c3a7f3d28ba8593ba7.png
[d547c289bced4e8f8924987e8924fc73.png]: https://img-blog.csdnimg.cn/d547c289bced4e8f8924987e8924fc73.png
[8fee7734e5984c59abcdf9a8ba68f9f6.png]: https://img-blog.csdnimg.cn/8fee7734e5984c59abcdf9a8ba68f9f6.png
[cdcf6fc5cc60448a88718b423c3d7751.png]: https://img-blog.csdnimg.cn/cdcf6fc5cc60448a88718b423c3d7751.png
[e84a382eaa5c4230aa97e2e7909813fe.png]: https://img-blog.csdnimg.cn/e84a382eaa5c4230aa97e2e7909813fe.png
[9bf0f6ab52fb476ca29d2fd33e612d41.png]: https://img-blog.csdnimg.cn/9bf0f6ab52fb476ca29d2fd33e612d41.png
[425905e291d34e368795a6e213ee0bae.png]: https://img-blog.csdnimg.cn/425905e291d34e368795a6e213ee0bae.png
[420bc57ae11e44ef83b84daeb589698a.png]: https://img-blog.csdnimg.cn/420bc57ae11e44ef83b84daeb589698a.png
[628e8780e4fd454f9decfccddebef880.png]: https://img-blog.csdnimg.cn/628e8780e4fd454f9decfccddebef880.png