豆瓣电影爬虫编写教程

- 日理万妓 2021-11-16 07:58 417阅读 0赞

import  requests
    
    from lxml import etree
    
    headers ={
        'User-Agent':"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
        'Referer':"https://movie.douban.com/"
    
    }
    url="https://movie.douban.com/cinema/nowplaying/shijiazhuang/"
    response = requests.get(url,headers=headers)
    text = response.text
    
    html = etree.HTML(text)
    ul = html.xpath("//ul[@class='lists']")[0]
    #print(etree.tostring(ul,encoding='utf-8').decode("utf-8"))
    lis = ul.xpath("./li")
    movies = []
    for li in lis:
            #print(etree.tostring(li,encoding='utf-8').decode("utf-8"))
        title = li.xpath("@data-title") [0]
        score = li.xpath("@data-score")[0]
        duration = li.xpath("@data-duration")[0]
        region = li.xpath("@data-region")[0]
        director = li.xpath("@data-director")[0]
        actors = li.xpath("@data-actors")[0]
        thumbnail = li.xpath(".//img/@src")[0]
        movie = {
            'title':title,
            'score':score,
            'duration':duration,
            'region':region,
            'director':director,
            'actors':actors,
            'thumbnail':thumbnail
        }
        movies.append(movie)
    
    print(movies)

以上代码仅供参考学习！

转载于:https://www.cnblogs.com/secsafe/p/11235126.html

发表评论取消回复

表情：

评论列表（有 0 条评论，417人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫---实现爬取电影资料和电影评论（豆瓣）

效果图： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nL

女爷i/ 2023年07月19日 12:13/ 0 赞/ 42 阅读

相关【Python爬虫】豆瓣电影

需求爬取豆瓣电影分类排行榜中的电影详情数据。分析进入豆瓣电影分类排行榜 - 喜剧片页面，可以发现该页面向下滚动刷新，是进行局部刷新的，可以通过ajax实现。

桃扇骨/ 2022年12月14日 03:51/ 0 赞/ 247 阅读

相关爬虫日记(32)：使用FormRequest获取豆瓣电影数据

前面发送的请求，都是使用Request对象来发送，这是一般的请求对象，但是除了这些请求之外，其实还有表单的请求，这时再使用这个请求来发送，就比较麻烦一些，需要使用Request

柔情只为你懂/ 2022年11月15日 11:39/ 0 赞/ 186 阅读

相关 python爬虫爬取豆瓣电影榜单

起因起因就是博主自己头脑发热想要爬取豆瓣的电影榜单,然后把里面的文字部分提取出来自己之前看别人的网上的教程写到了如何爬取某个网页的图片并将其下载,自己试了好使但是

Love The Way You Lie/ 2022年06月08日 07:21/ 0 赞/ 437 阅读

相关 scrapy爬取豆瓣电影教程

最近在做爬虫，也很久没更博客了，这篇长文就算是一个开更礼吧，Duang 在爬取之前，你得确保你已经有以下的条件： > python3 环境（在我的机子上是python

逃离我推掉我的手/ 2022年05月27日 07:00/ 0 赞/ 529 阅读

相关使用requests库豆瓣电影爬虫

import requests from lxml import etree 1，将目标网站的页面抓取下来 headers =

╰+攻爆jí腚メ/ 2022年05月16日 04:11/ 0 赞/ 354 阅读

相关 Go语言爬虫豆瓣电影小项目

目的:以豆瓣电影为例，爬取整个豆瓣电影静态页面信息 1.获取页面信息 go语言提供了httplib库能够获取静态页面的信息 movieHtml:=httpli

Dear 丶/ 2022年02月09日 10:01/ 0 赞/ 333 阅读

相关爬虫利器初体验 scrapy，爬取豆瓣电影

目录前言 scrapy 数据流 scrapy 组件爬取豆瓣电影 Top250 后记送书后话前言为什么要学 scrap

妖狐艹你老母/ 2022年02月02日 03:13/ 0 赞/ 434 阅读

相关豆瓣电影爬虫编写教程

import requests from lxml import etree headers ={ 'User-A

- 日理万妓/ 2021年11月16日 07:58/ 0 赞/ 418 阅读

相关 python爬虫爬取豆瓣电影Top250

python爬虫爬取豆瓣电影Top250 话不多说，直接上代码！ import re import requests import json

爱被打了一巴掌/ 2021年07月26日 18:14/ 0 赞/ 926 阅读