【零基础学爬虫】爬虫实战：爬取猫眼Top100电影

- 日理万妓 2022-02-16 23:41 466阅读 0赞

### 准备 ###

之前讲解过Requests库的使用，以及正则表达式基础。今天我们将两者结合起来，实现第一个爬虫实战：使用Requests和正则表达式爬取[猫眼电影的Top100][Top100]。  
\#\#\#爬取流程  
**（1）目标分析**  
打开网址：[https://maoyan.com/board/4?offset=0，发现100部一篇一共分了10页，每一页10部影片：涵盖影片的名字，主演，时间以及评分。][https_maoyan.com_board_4_offset_0_100_10_10]  
经过分析发现，分页的控制具体体现在url中：

*  第一页的url：[https://maoyan.com/board/4?offset=0][Top100]
 *  第二页的url：[https://maoyan.com/board/4?offset=10][https_maoyan.com_board_4_offset_10]
 *  第三页的url：[https://maoyan.com/board/4?offset=20][https_maoyan.com_board_4_offset_20]
 *  …  
    规律很简单，下一页的offset是在前一页的基础上加了10，具体实现时是需要使用range函数产出0到90，间隔10的序列，然后拼接到url上就可以了。  
    **（2）页面代码的分析**  
    右键->检查：  
    ![1240][]  
    页面源码发现：每一部影片的信息都在"
    
    …
    
    "标签中，所以在正则表达式中只需要匹配到dd标签，然后提取响应的数据即可，正则也比较容易。值得注意的是，评分分了两部分：一个是整数部分，另外一个是小数部分。  
    **（3）流程框架**  
    ![1240 1][]

### 源码和结果图： ###

![1240 2][]

## **源码** ##

扫描下方二维码，发送关键词“**top100**”即可获取本文的完整源码和详细程序注释  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240 3]  
公众号专注：**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术、海量**资料分享**：公众号后台回复“csdn文库下载”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**

[Top100]: https://maoyan.com/board/4?offset=0
[https_maoyan.com_board_4_offset_0_100_10_10]: https://maoyan.com/board/4?offset=0%EF%BC%8C%E5%8F%91%E7%8E%B0100%E9%83%A8%E4%B8%80%E7%AF%87%E4%B8%80%E5%85%B1%E5%88%86%E4%BA%8610%E9%A1%B5%EF%BC%8C%E6%AF%8F%E4%B8%80%E9%A1%B510%E9%83%A8%E5%BD%B1%E7%89%87%EF%BC%9A%E6%B6%B5%E7%9B%96%E5%BD%B1%E7%89%87%E7%9A%84%E5%90%8D%E5%AD%97%EF%BC%8C%E4%B8%BB%E6%BC%94%EF%BC%8C%E6%97%B6%E9%97%B4%E4%BB%A5%E5%8F%8A%E8%AF%84%E5%88%86%E3%80%82
[https_maoyan.com_board_4_offset_10]: https://maoyan.com/board/4?offset=10
[https_maoyan.com_board_4_offset_20]: https://maoyan.com/board/4?offset=20
[1240]: /images/20220217/bf6c5f11ade84745b3cdbaebaa4acd9c.png
[1240 1]: /images/20220217/ef3c1dfe5f894392b25853e50ee190c4.png
[1240 2]: /images/20220217/67e81b2f1fe14c2c818787f0ee2e15f7.png
[1240 3]: /images/20220217/11f0e77b7c714c878c378287ac832621.png