爬虫02_基于requests的动态加载数据的爬取

心已赠人 2023-07-24 13:07 7阅读 0赞

通过抓包工具，基于全局搜索，可以将动态加载数据的数据包定位到

### 捕获动态加载数据： ###

*  基于抓包工具进行全局搜索
 *  定位到动态加载数据对应的数据包，从改数据包中就可以提取
    
     *  1）请求的`url`
     *  2）请求方式
     *  3）请求携带的参数
     *  4）看到响应数据
 *  `.json()`方法：将获取到的响应中的字符串形式的json数据以字典或者列表形式返回  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_16_color_FFFFFF_t_70_pic_center]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_16_color_FFFFFF_t_70_pic_center 1]

### 项目实战： ###

*  需求：豆瓣电影分类排行榜中动作电影的电影名称和评分的爬取，[练习网址][Link 1]
 *  项目代码

import requests
    import os
    
    url = 'https://movie.douban.com/j/chart/top_list'
    headers = {
        
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    params = {
        
        'type': '5',
    'interval_id': '100:90',
    'action': '',
    'start': '0',
    'limit': '5',
    }
    response = requests.get(url=url, params=params, headers=headers)
    
    #.json()表示将获取的字符串形式的json数据序列化成字典或者列表
    page_text = response.json()
    
    #解析出电影的名称和评分
    for movie in page_text:
        movie_name = movie['title']
        movie_socre = movie['score']
        print(movie_name, movie_socre)

> 思考：为什么基于抓包工具进行全局搜索，不一定100%可以定位到动态加载数据对应的数据包？  
> 原因：如果动态加载的数据是经过加密处理的密文数据，全局搜索是搜不到的，需要前台进行解密，例如`js`加解密的破解…

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_16_color_FFFFFF_t_70_pic_center]: /images/20230528/15c7d7457ef54421b0a8adfc5dcebff8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjcyMzg2_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20230528/71b75c1818774fcdb9d170e9e1d34549.png
[Link 1]: https://movie.douban.com/typerank?type_name=%E5%8A%A8%E4%BD%9C&type=5&interval_id=100:90&action=