python翻页爬取豆瓣影评,翻页爬取豆瓣电影名称和评分

た入场券 2023-01-17 06:20 203阅读 0赞

翻页爬取豆瓣电影名称和评分

分析：

1.爬取翻页数据重点在于翻页的操作，由于每一页发送请求，解析和保存数据的方式都是一样的，因此通过找到每一页url的规律，利用for循环进行翻页即可。

2.爬取的数据为json格式，因此需要通过json()方法转成python格式进行操作

3.数据解析，在利用jsonpath解析数据时，我们可以通过响应数据放在JSON在线解析中找到名称和评分所在的节点。

4.在同一文件保存多个文本数据时，写入方式需要用a追加的方式。

本次案例以豆瓣电影的经典电影为例：

![e5f67cc58a9538cdd08eb620da491c73.png][]

找到页面信息的url并查看响应(相应类型为json格式)

![fea94dd82b294b5443aecc705140c100.png][]

![7cc29f48800b5f666da52fb5740fa951.png][]

![a4934b4a358bbf805d00eff4501e015e.png][]

第一页的url：https://movie.douban.com/j/search\_subjectstype=movie&tag=%E7%BB%8F%E5%85%B8&sort=recommend&page\_limit=20&page\_start=0

第二页的url：https://movie.douban.com/j/search\_subjectstype=movie&tag=%E7%BB%8F%E5%85%B8&sort=recommend&page\_limit=20&page\_start=20

由上述url可知，url的不同在于参数page\_start

第一页page\_start=0

第二页page\_start=20

那么我们for循环的规律也就显而易见。

…

通过JSON在先进行数据解析，找到目标数据所在的节点。

![f4a79f64872182d9ecc386ffbe877894.png][]

翻页的规律和解析的方法已经找到，那么开始我们的代码

import requests

import jsonpath

import json

if \_\_name\_\_ == '\_\_main\_\_':

\# 输入爬取的页数

pages = int(input('请输入爬取的页数：'))

for i in range(pages):

page\_start = i\*20

\# 确认目标的url

url = f'https://movie.douban.com/j/search\_subjects?type=movie&tag=%E7%BB%8F%E5%85%B8&sort=recommend&page\_limit=20&page\_start=\{page\_start\}'

\# 构造请求头参数

headers = \{

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36'

\# 发送请求，获取响应

response = requests.get(url,headers=headers)

\# 将json数据转换成py数据

py\_data = response.json()

\# 提取文本中的目标数据：电影名称,电影评分

title\_list = jsonpath.jsonpath(py\_data,'$..title')

rate\_list = jsonpath.jsonpath(py\_data,'$..rate')

\# 将名称和评分放进字典，保存为json文件

for i in range(len(title\_list)):

dict\_ = \{\}

dict\_\[title\_list\[i\]\] = rate\_list\[i\]

\# 将字典转换成json格式

json\_data = json.dumps(dict\_,ensure\_ascii=False)+',\\n'

\# 保存到本地

with open('翻页豆瓣电影评分.json','a',encoding='utf-8')as f:

f.write(json\_data)

爬取3页数据，每一页对应20个电影数据，那么结果数据就是60个电影的数据

![be70f920d5c01f922e23f78166ccf7d4.png][]

原文链接:https://blog.csdn.net/coffeetogether/article/details/113979545

[e5f67cc58a9538cdd08eb620da491c73.png]: /images/20221021/10429b7a28d14de8b190c8e79926be57.png
[fea94dd82b294b5443aecc705140c100.png]: /images/20221021/75fcbb5a94384903900a16860f3130fb.png
[7cc29f48800b5f666da52fb5740fa951.png]: /images/20221021/127fe5f9556545778d5f9fb5e3418fdf.png
[a4934b4a358bbf805d00eff4501e015e.png]: /images/20221021/340db5fad29b469091bea9510fa6a568.png
[f4a79f64872182d9ecc386ffbe877894.png]: /images/20221021/4bbfb8d9b5d54b12a37b257a96f91ac4.png
[be70f920d5c01f922e23f78166ccf7d4.png]: /images/20221021/b7380d34fc514769b762284a7921e433.png