Python | 50行代码爬取猫眼 top100

ゞ浴缸里的玫瑰 2022-05-15 06:45 291阅读 0赞

> 微信公众号：一个优秀的废人  
> 如有问题或建议，请后台留言，我会尽力解决你的问题。

![霸王别姬][1240]

#### 前言 ####

好久不见，已经有一个月没更新了。主要是因为最近工作特别忙，上班要撸 java， 撸完 java，又要撸前端。真的是忙到 x 生活都没时间（说的好像不忙就有一样），手动滑稽。话不多说了，因为工作的原因，所以我的 Python 学的特别慢，学了许久，终于接触到爬虫了。那今天给你们带来的就是一个简单的静态网页的爬取：requests + 正则爬取猫眼 top100

#### 环境 ####

wi10 + python3.6

#### 思路 ####

这个简单的爬虫有两个主要的思路。  
1、打开猫眼 top100 网址：[http://maoyan.com/board/4][http_maoyan.com_board_4]，确定要爬取得内容。  
那这里打开猫眼 top100 之后是这样的：  
![猫眼Top100首页.png][Top100_.png]  
上图，我以霸王别姬为例讲解，我们要爬取的目标内容有 电影排名，电影海报链接，电影名称，主演，上映时间以及评分等 6 个主要内容。

2、审查元素，思考如何使用正则匹配你需要的内容  
![霸王别姬][1240 1]  
同样以霸王别姬为例审查元素：  
![审查元素][1240 2]  
可以看到上图，分别标出了我们要爬取得内容。其中每一个电影使用了一个

标签包裹，我们要爬取的内容就在这个标签下，如，排名被包裹在  标签里面，海报链接被包裹在 标签内，电影名称被包裹在 篇 p 标签下的 a 标签内，主演、上映时间以及评分都被包裹在 p 标签内， 其中评分被分开成两个 a 标签装载。

#### 代码 ####

##### 获取 html #####

如何用代码打开指定的网页并获取其 html 代码？  
这里用到了 Python 的网络请求库 requests。还没安装的打开你的 cmd 窗口，执行命令：pip install requests（仅限 windows 平台） 之后会收到安装成功的提示。那安装完之后就可以开始写代码了。网络请求代码如下：

import requests
    from requests.exceptions import RequestException
    
    def get_one_page(url):
        # headers, 伪装成浏览器
        headers = {
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                        'AppleWebKit/537.36 (KHTML, like Gecko) '
                        'Chrome/68.0.3440.106 Safari/537.36'
        }
    
        try:
            response = requests.get(url, headers=headers)
            if response.status_code == 200:
                return response.text
            return None
        except RequestException:
            return None
    
    def main():
        url = "http://maoyan.com/board/4"
        html = get_one_page(url)
        print(html)
    
    if __name__ == '__main__':
        main()

这段代码也没啥好讲的，首先就是导入 requests 库，使用它的 get 方法传入 url 和 header（特别重要）返回的是字符串类型的 html 代码 以及请求状态码。判断返回的状态码是否等于 200 ，等于 200 则返回 text 即 网页html代码。返回的代码和我们审查元素时看到的是一样的（仅限此网页），这里不多赘述。

##### 解析 html #####

def parse_one_page(html):
 # 正则匹配规则
 pattern = re.compile('<dd>.*?board-index.*?>(\d+)'
 + '.*?data-src="(.*?)"'
 + '.*?name"><a.*?>(.*?)</a>'
 + '.*?star">(.*?)'
 + '.*?releasetime">(.*?)'
 + '.*?integer">(.*?)'
 + '.*?fraction">(.*?).*?</dd>', re.S)
 # 列表形式返回匹配项
 items = re.findall(pattern, html)
 print(items)

上述代码出现了很多 .\*？这个符号的意思就是贪婪模式，原则是匹配尽可能多的字符，如果看不明白上面那个正则匹配的话，建议去 菜鸟教程学习一下正则表达式。  
运行上述代码解析出来的 html 就是这样的：列表形式返回匹配项

[
    ('1', 'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n                主演：张国荣,张丰毅,巩俐\n        ', '上映时间：1993-01-01(中国香港)', '9.', '6'),
    ('2', 'http://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', '罗马假日', '\n                主演：格利高里·派克,奥黛丽·赫本,埃迪·艾伯特\n        ', '上映时间：1953-09-02(美国)', '9.', '1'), 
    ('3', 'http://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', '肖申克的救赎', '\n                主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿\n        ', '上映时间：1994-10-14(美国)', '9.', '5'), 
    ('4', 'http://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', '这个杀手不太冷', '\n                主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼\n        ', '上映时间：1994-09-14(法国)', '9.', '5'), 
    ('5', 'http://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', '教父', '\n                主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩\n        ', '上映时间：1972-03-24(美国)', '9.', '3'),
    ('6', 'http://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', '泰坦尼克号', '\n                主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩\n        ', '上映时间：1998-04-03', '9.', '5'), 
    ('7', 'http://p0.meituan.net/movie/b03e9c52c585635d2cb6a3f7c08a8a50112441.jpg@160w_220h_1e_1c', '龙猫', '\n                主演：日高法子,坂本千夏,糸井重里\n        ', '上映时间：1988-04-16(日本)', '9.', '2'), 
    ('8', 'http://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '\n                主演：周星驰,巩俐,郑佩佩\n        ', '上映时间：1993-07-01(中国香港)', '9.', '2'), 
    ('9', 'http://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', '千与千寻', '\n                主演：柊瑠美,入野自由,夏木真理\n        ', '上映时间：2001-07-20(日本)', '9.', '3'), 
    ('10', 'http://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', '魂断蓝桥', '\n                主演：费雯·丽,罗伯特·泰勒,露塞尔·沃特森\n        ', '上映时间：1940-05-17(美国)', '9.', '2')
    ]

##### 格式化匹配项 #####

def parse_one_page(html):
 pattern = re.compile('<dd>.*?board-index.*?>(\d+)'
 + '.*?data-src="(.*?)"'
 + '.*?name"><a.*?>(.*?)</a>'
 + '.*?star">(.*?)'
 + '.*?releasetime">(.*?)'
 + '.*?integer">(.*?)'
 + '.*?fraction">(.*?).*?</dd>', re.S)
 items = re.findall(pattern, html)
 for item in items:
 yield {
 '排名': item[0],
 '海报': item[1],
 '电影': item[2],
 '主演': item[3].strip()[3:],# 删除前面三个字符
 '时间': item[4].strip()[5:],# 删除前面五个字符
 '评分': item[5]+item[6]
 }

如上 yield 的作用就是生成一个迭代器。

##### 写入文件 #####

def write_to_file(content):
        with open('top100.txt', 'a', encoding='utf-8') as f:
            f.write(json.dumps(content, ensure_ascii=False) + '\n')
            f.flush()
        f.close()

这里用到了 json 库。首先就是指定文件（默认存储在当前路径），之后就是开启一个文件流并指定编码格式，把 content 写入文件中。

##### 实现翻页 #####

上述代码只是爬取首页的 10 部电影而已，要爬取剩下的 90 部电影，我们需要在浏览器点击下页时，观察地址栏的变化。  
这里的话，点击下页其实就是一个 offset 的改变。原来是地址是：[http://maoyan.com/board/4][http_maoyan.com_board_4]  
点击第二页是：  
[http://maoyan.com/board/4?offset=1][http_maoyan.com_board_4_offset_1]  
后面页数以此类推。  
思考后可得出下面代码：

def main(offset):
        url = "http://maoyan.com/board/4?offset=" + str(offset)
        html = get_one_page(url)
        for item in parse_one_page(html):
            print(item)
            write_to_file(item)
    
    if __name__ == '__main__':
        for i in range(10):
            main(i*10)

这时爬取得就是 猫眼 TOP100 的电影，并保存在 top100.txt 文件中：  
![猫眼 Top100][Top100]

至此，requests + 正则爬取猫眼电影 Top100 项目已完成。一个用了 50 行代码左右。完整代码如下：

import json
 import requests
 from requests.exceptions import RequestException
 import re
 
 def get_one_page(url):
 # headers, 伪装成浏览器
 headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
 'AppleWebKit/537.36 (KHTML, like Gecko) '
 'Chrome/68.0.3440.106 Safari/537.36'
 }
 
 try:
 response = requests.get(url, headers=headers)
 if response.status_code == 200:
 return response.text
 return None
 except RequestException:
 return None
 
 def parse_one_page(html):
 pattern = re.compile('<dd>.*?board-index.*?>(\d+)'
 + '.*?data-src="(.*?)"'
 + '.*?name"><a.*?>(.*?)</a>'
 + '.*?star">(.*?)'
 + '.*?releasetime">(.*?)'
 + '.*?integer">(.*?)'
 + '.*?fraction">(.*?).*?</dd>', re.S)
 items = re.findall(pattern, html)
 for item in items:
 yield {
 '排名': item[0],
 '海报': item[1],
 '电影': item[2],
 '主演': item[3].strip()[3:],# 删除前面三个字符
 '时间': item[4].strip()[5:],# 删除前面五个字符
 '评分': item[5]+item[6]
 }
 
 def write_to_file(content):
 with open('top100.txt', 'a', encoding='utf-8') as f:
 f.write(json.dumps(content, ensure_ascii=False) + '\n')
 f.flush()
 f.close()
 
 def main(offset):
 url = "http://maoyan.com/board/4?offset=" + str(offset)
 html = get_one_page(url)
 for item in parse_one_page(html):
 print(item)
 write_to_file(item)
 
 if __name__ == '__main__':
 for i in range(10):
 main(i*10)

当然，这只是爬取静态网页而已，代码非常的简单，但是也建议初学者自己动手实践一下，虽然很简单，但千万不能有所见即所得的想法。刚开始我也觉得很简单。但是有时你可能会遇到意想不到的坑，比如我在写这篇代码时，就忽略了 yield 的用法，踩了一个很大的坑，用了我一小时才填完。但是也没关系，所谓大神也是踩坑–填坑  
不断循环这个过程锻炼而来的。

最后，如果对 Python 、Java 感兴趣请长按二维码关注一波，我会努力带给你们价值，赞赏就不必了，能力没到，受之有愧。我会告诉你关注之后回复 **爬虫** 可以领取一份最新的爬虫教学视频吗？

![一个优秀的废人][1240 3]

[1240]: /images/20220515/889c0c42755e46d989cc416706b2ffe8.png
[http_maoyan.com_board_4]: http://maoyan.com/board/4
[Top100_.png]: /images/20220515/e7d0cb9b4d2a4cf8a16f00ff572e093b.png
[1240 1]: /images/20220515/69aef2123f5d42bda3c0ee6afdb2e904.png
[1240 2]: /images/20220515/550c36b588334590b481f3bc86a89352.png
[http_maoyan.com_board_4_offset_1]: http://maoyan.com/board/4?offset=1
[Top100]: /images/20220515/fecf1543d2e845f39bf0c97e46a2b52a.png
[1240 3]: /images/20220515/bdbba58a3c08499a9c46d2e993d33c4f.png