爬虫，第八次实战xpath之（下载网站的视频播放链接）

谁借莪１个温暖的怀抱￠ 2021-11-04 09:46 198阅读 0赞

import requests
    from lxml import etree
    
    headers = {
        'User-Agen':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'}
    video_list = []
    for i in range(4,19):
        url = 'http://www.d9dyy.com/html/dl/list_%s.html'%i
        page_text = requests.get(url=url,headers=headers).text
        tree = etree.HTML(page_text)
        page_li = tree.xpath('/html/body/div[2]/div[2]/ul/li')
        for li in page_li:
                li_url = li.xpath('./a/@href')[0]
                # print(li_url)
                real_url = 'www.d9dyy.com'+li_url
                video_list.append(real_url)
                for video_li in video_list:
                    video_li = 'http://'+video_li
                    video_text = requests.get(url=video_li,headers=headers).text
                    video_tree = etree.HTML(video_text)
                    video_player_url = video_tree.xpath('/html/body/div[2]/div[1]/div[1]/iframe/@src')[0]
                    # print(video_player_url)
                    fp = open('网站影片播放链接.txt','w',encoding='UTF-8')
                    fp.write(video_player_url)
                    print('辛辛苦苦')

中间有点小不足，太懒了，没把名字给写上去。爬虫慢慢娴熟了，后面要学习更精湛的技术了，就是反反反。。。爬虫技术。哈哈哈

转载于:https://www.cnblogs.com/sucanji/p/10858046.html

发表评论取消回复

表情：

评论列表（有 0 条评论，198人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫爬取视频网站视频并下载

在 Python 中爬取视频网站并下载视频通常需要以下几步： 1. 使用爬虫框架(例如 Scrapy、Beautiful Soup 或 Selenium)对视频网站进行爬取

╰半橙微兮°/ 2024年03月25日 18:12/ 0 赞/ 87 阅读

相关爬虫-网易云音乐视频下载链接

查看网络请求，如下图，在左边箭头输入框输入mp4，右边链接即为真实的下载链接，不过这个链接有时效性。问题是怎么自己构造这样完整的链接或者能否在网页中找到？ ![在这里插入图

小灰灰/ 2023年03月13日 03:46/ 0 赞/ 179 阅读

相关爬虫实战：链接爬虫实战

假设我们想要把一个网页中所有的链接地址提取出来，我们可以通过python爬虫实现。思路 1. 确定好要爬取的入口链接 2. 根据需求构建好链接提取的正则表达式 3.

妖狐艹你老母/ 2023年01月07日 10:21/ 0 赞/ 286 阅读

相关 python爬虫教程视频下载-利用Python网络爬虫获取电影天堂视频下载链接【详细教程】...

相信大家都有一种头疼的体验，要下载电影特别费劲，对吧？要一部一部的下载，而且不能直观的知道最近电影更新的状态。今天以电影天堂为例，带大家更直观的去看自己喜欢的电影，并且下载

曾经终败给现在/ 2022年11月21日 14:04/ 0 赞/ 336 阅读

相关爬虫链接

http://cuiqingcai.com/1052.html [Python爬虫学习系列教程][Python] http://cuiqingcai.com/927.h

ゝ一纸荒年。/ 2022年08月21日 06:41/ 0 赞/ 233 阅读

相关爬虫-链接验证

爬虫-链接验证 @(Python)\[python\] 爬虫-链接验证链接验证链接验证 > 编写一个程序，对给定的网页URL，

我会带着你远行/ 2022年06月16日 00:48/ 0 赞/ 236 阅读

相关爬虫-图像网站下载

爬虫-图像网站下载 @(Python)\[python\] 爬虫-图像网站下载图像网站下载图像网站下载 > 编写一个程序，访问

冷不防/ 2022年06月16日 00:42/ 0 赞/ 203 阅读

相关 Python爬虫实战(八)：爬取电影天堂的电影下载链接

coding=utf-8 import re import requests import xlsxwriter from bs4 im

蔚落/ 2022年06月06日 03:53/ 0 赞/ 360 阅读

相关 Python 实用爬虫-03-爬取视频教程课程名+链接+下载图片

Python 实用爬虫-03-爬取视频教程课程名+链接+下载图片很长时间不写爬虫的学习笔记了，想到用爬虫来动态的更新数据，简单的搭一个页面的框架，加上爬虫获取数据，岂不

╰半橙微兮°/ 2022年05月15日 14:28/ 0 赞/ 229 阅读

相关爬虫，第八次实战xpath之（下载网站的视频播放链接）

import requests from lxml import etree headers = { 'User-Agen':

谁借莪１个温暖的怀抱￠/ 2021年11月04日 09:46/ 0 赞/ 199 阅读