【视频爬虫】简单代码实现守望先锋CG动画爬虫

柔光的暖阳◎ 2023-02-16 09:29 5阅读 0赞

游戏，无所欲也  
动画，亦我所欲也

--------------------

不得不说，守望先锋真的是一款很好的游戏，暴雪公司也是很好的CG公司。

最近迷恋上了守望先锋的画面效果，浏览官网的时候发现了很多官方公开的很不错的CG作品。想保存下来作为一些剪辑素材。简单查一下竟然好几十个，这一个一个点，得到什么时候。  
那么，一个小爬虫就诞生了

--------------------

import os
    
    import requests
    from fake_useragent import UserAgent
    from lxml import etree
    
    ua = UserAgent()
    
    
    
    class Overwatch():
    
        def __init__(self):
        	# 视频网站地址
            self.main_url = "https://ow.blizzard.cn/media/"
    
            self.headers = { 
                "User-Agent": ua.random,
                "Referer": "https://ow.blizzard.cn/career/",
        }
    
        def parse_url(self, url):  # url请求
            response = requests.get(url, headers=self.headers)
            return response.content.decode()
    
        def get_tag(self, response, tag):  # 提取标签
            html = etree.HTML(response)
            ret = html.xpath(tag)
            return ret
    
        def save_file(self, file_path, url_jpg):  # 保存文件
            ret = requests.get(url_jpg, headers=self.headers)
            with open(file_path, 'wb') as f:
                f.write(ret.content)
            print("保存文件成功")
    
        def run(self):
            response = self.parse_url(self.main_url)
    
            if response:
                video_list = self.get_tag(response, '//div[@class="inner"]/ul/li/@data-mp4')
                video_tital = self.get_tag(response, '//div[@class="inner"]/ul/li/@data-title')
                for k, video in enumerate(video_list):
                    file_name = video_tital[k]+"_"+video.split("/")[-1]
                    file_path = "./overwatch/"+ file_name
                    self.save_file(file_path, video)
                    print(file_name)
            else:
                print("请求失败了")
    
    
    if __name__ == '__main__':
        a = Overwatch()
    
        if os.path.exists("./overwatch") is False:
            os.mkdir('./overwatch')
    
        a.run()

值得一说的是，网站中因为存在视频的绝对网络路径，所以可以直接进行爬虫获取，并且基本就算没有反扒机制。

代码有很多内容可以复用，只要是相关的下载文件的地方，基本都可以用，前提就是提供绝对的文件请求地址。m3u8的视频爬虫，前面我说过，可以翻一下[这里][Link 1]

[Link 1]: https://blog.csdn.net/itguangzhi/article/details/87862470