使用requests库豆瓣电影爬虫

╰+攻爆jí腚メ 2022-05-16 04:11 353阅读 0赞

import requests
    from lxml import etree
    
    # 1，将目标网站的页面抓取下来
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
        , 'Referer': 'https://movie.douban.com'
    }
    
    url = 'https://movie.douban.com/cinema/nowplaying/beijing/'
    response = requests.get(url, headers=headers)
    text = response.text
    # response.text:返回的是一个经过解码后的字符串，是str(unicode)类型
    # response.content:返回的是一个原生的字符串，就是从网页上抓取下来的，没有经过处理
    # 的字符串，是bytes类型
    
    # 2，将抓取下来的数据根据一定的规则进行提取
    html = etree.HTML(text)
    # 获取的是两个列表，只取出“正在上映”的第一个列表就行了
    ul = html.xpath("//ul[@class='lists']")[0]
    # print(etree.tostring(ul, encoding='utf-8').decode('utf-8'))
    lis = ul.xpath('./li')
    
    movies = []
    
    for li in lis:
        title = li.xpath("@data-title")[0]
        # print(title)
        score = li.xpath("@data-score")[0]
        # print(score)
        duration = li.xpath("@data-duration")[0]
        # print(duration)
        region = li.xpath("@data-region")[0]
        # print(region)
        actors = li.xpath("@data-actors")[0]
        # print(actors)
        thumbnail = li.xpath(".//img/@src")[0]
        # print(thumbnail)
        movie = {
            'title': title,
            'score': score,
            'duration': duration,
            'region': region,
            'actors': actors,
            'thumbnail': thumbnail
        }
        movies.append(movie)
    print(movies)

\[\{'title': '一出好戏', 'score': '7.4', 'duration': '134分钟', 'region': '中国大陆', 'actors': '黄渤 / 舒淇 / 王宝强', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2529571873.jpg'\}, \{'title': '巨齿鲨', 'score': '6.1', 'duration': '115分钟(中国大陆)', 'region': '美国 中国大陆 香港', 'actors': '杰森·斯坦森 / 李冰冰 / 雷恩·威尔森', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2530572643.jpg'\}, \{'title': '西虹市首富', 'score': '6.7', 'duration': '118分钟', 'region': '中国大陆', 'actors': '沈腾 / 宋芸桦 / 张一鸣', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2529206747.jpg'\}, \{'title': '爱情公寓', 'score': '2.8', 'duration': '117分钟', 'region': '中国大陆', 'actors': '陈赫 / 袁弘 / 娄艺潇', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2521648155.jpg'\}, \{'title': '小偷家族', 'score': '8.7', 'duration': '117分钟(中国大陆)', 'region': '日本', 'actors': '中川雅也 / 安藤樱 / 松冈茉优', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2530599636.jpg'\}, \{'title': '神秘世界历险记4', 'score': '5.4', 'duration': '85分钟', 'region': '中国大陆', 'actors': '阎么么 / 赵一博 / 张磊', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2528380655.jpg'\}, \{'title': '狄仁杰之四大天王', 'score': '6.5', 'duration': '132分钟', 'region': '中国大陆 香港', 'actors': '赵又廷 / 冯绍峰 / 林更新', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2526405034.jpg'\}, \{'title': '风语咒', 'score': '7.0', 'duration': '105分钟', 'region': '中国大陆', 'actors': '路知行 / 阎萌萌 / 褚珺', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2530872223.jpg'\}, \{'title': '我不是药神', 'score': '9.0', 'duration': '117分钟', 'region': '中国大陆', 'actors': '徐峥 / 王传君 / 周一围', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2519070834.jpg'\}, \{'title': '李保国', 'score': '0', 'duration': '100分钟', 'region': '中国大陆', 'actors': '林永健 / 颜丹晨 / 尤勇', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2530569123.jpg'\}, \{'title': '摩天营救', 'score': '6.5', 'duration': '102分钟', 'region': '美国', 'actors': '道恩·强森 / 内芙·坎贝尔 / 黄经汉', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2527484082.jpg'\}, \{'title': '旅行吧！井底之蛙', 'score': '0', 'duration': '78分钟', 'region': '中国大陆', 'actors': '王雪沁 / 吴凡 / 周宗禹', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2530181034.jpg'\}, \{'title': '肆式青春', 'score': '5.4', 'duration': '74分钟', 'region': '日本 中国大陆', 'actors': '坂泰斗 / 寿美菜子 / 白石晴香', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2526429256.jpg'\}, \{'title': '的士速递5', 'score': '5.6', 'duration': '100分钟(中国大陆)', 'region': '法国', 'actors': '弗兰克·盖思堂彼得 / 马利克·班泽拉 / 伯纳尔·法西', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2529136453.jpg'\}, \{'title': '最后的棒棒', 'score': '0', 'duration': '99分钟', 'region': '中国大陆', 'actors': '', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2528959166.jpg'\}, \{'title': '妈妈咪呀2', 'score': '7.4', 'duration': '114分钟', 'region': '英国 美国', 'actors': '莉莉·詹姆斯 / 阿曼达·塞弗里德 / 朱丽·沃特斯', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2528272481.jpg'\}, \{'title': '解码游戏', 'score': '4.2', 'duration': '99分钟', 'region': '中国大陆 香港 美国', 'actors': '韩庚 / 凤小岳 / 李媛', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2529787833.jpg'\}, \{'title': '神奇马戏团之动物饼干', 'score': '5.6', 'duration': '94分钟', 'region': '美国 西班牙 中国大陆 韩国 香港', 'actors': '艾米莉·布朗特 / 约翰·卡拉辛斯基 / 伊恩·麦克莱恩', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2528298973.jpg'\}, \{'title': '超人总动员2', 'score': '8.1', 'duration': '126分钟(中国大陆)', 'region': '美国', 'actors': '格雷格·T·尼尔森 / 霍利·亨特 / 莎拉·沃威尔', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2522880251.jpg'\}, \{'title': '新大头儿子和小头爸爸3：俄罗斯奇遇记', 'score': '5.0', 'duration': '80分钟', 'region': '中国大陆', 'actors': '刘纯燕 / 董浩 / 鞠萍', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2522820714.jpg'\}, \{'title': '快把我哥带走', 'score': '0', 'duration': '115分钟', 'region': '中国大陆', 'actors': '张子枫 / 彭昱畅 / 赵今麦', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2531080870.jpg'\}, \{'title': '浴血广昌', 'score': '5.8', 'duration': '100分钟', 'region': '中国大陆', 'actors': '卢秋宏 / 何达 / 郑昊', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2529260597.jpg'\}, \{'title': '美食大冒险之英雄烩', 'score': '0', 'duration': '98分钟', 'region': '中国大陆', 'actors': '', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2530385279.jpg'\}, \{'title': '淘气大侦探', 'score': '7.1', 'duration': '86分钟', 'region': '英国 美国', 'actors': '詹姆斯·麦卡沃伊 / 艾米莉·布朗特 / 约翰尼·德普', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2527551382.jpg'\}, \{'title': '北方一片苍茫', 'score': '6.8', 'duration': '113分钟(中国大陆)', 'region': '中国大陆', 'actors': '田天 / 韩建玲 / 赵树林', 'thumbnail': 'https://img3.doubanio.com/view/photo/s\_ratio\_poster/public/p2527454845.jpg'\}, \{'title': '动物世界', 'score': '7.3', 'duration': '132分钟', 'region': '中国大陆', 'actors': '李易峰 / 迈克尔·道格拉斯 / 周冬雨', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2525528688.jpg'\}, \{'title': '三十那年', 'score': '0', 'duration': '92分钟', 'region': '中国大陆', 'actors': '尤天翔 / 张颖冰 / 秦汉擂', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2529362957.jpg'\}, \{'title': '信仰者', 'score': '0', 'duration': '104分钟', 'region': '中国大陆', 'actors': '黄少祺 / 王力可 / 赵毅', 'thumbnail': 'https://img1.doubanio.com/view/photo/s\_ratio\_poster/public/p2530153907.jpg'\}\]