用Python爬取爱奇艺视频弹幕

逃离我推掉我的手 2022-12-18 13:55 721阅读 0赞

**爱奇艺弹幕**

# **1.网页分析** #

# 本文以爬取《乐队的夏天第2季》第13期上视频弹幕为例，首先通过以下步骤找到存放弹幕的真实url。 #

![format_png][]

分析弹幕真实url，我们发现，参数5981449914376200是视频tvid，参数62是tvid倒数4为的前两位，参数00是tvid的最后两位，.z前的参数1为视频总时长除以300秒向上取整。观察相邻两个弹幕文件包，可以看出爱奇艺每5分钟更新一次弹幕文件。

![format_png 1][]

由于直接爬取出来的弹幕文件存在乱码，需要进行二进制编码，方可得到最终的弹幕数据。

**2.爬虫实战**

import zlib
    import requests
    
    # 1.爬取xml文件
    def download_xml(url):
        bulletold = requests.get(url).content  # 二进制内容
        return zipdecode(bulletold)
    
    def zipdecode(bulletold):
        '对zip压缩的二进制内容解码成文本'
        decode = zlib.decompress(bytearray(bulletold), 15 + 32).decode('utf-8')
        return decode
    
    for x in range(1,12):
        # x是从1到12，12怎么来的，这一集总共57分钟，爱奇艺每5分钟会加载新的弹幕,57除以5向上取整
        url = 'https://cmts.iqiyi.com/bullet/62/00/5981449914376200_300_' + str(x) + '.z'
        xml = download_xml(url)
        # 把编码好的文件分别写入17个xml文件中（类似于txt文件），方便后边取数据
        with open('./aiqiyi/iqiyi' + str(x) + '.xml', 'a+', encoding='utf-8') as f:
            f.write(xml)
    
    # 2.读取xml文件中的弹幕数据数据
    from xml.dom.minidom import parse
    import xml.dom.minidom
    def xml_parse(file_name):
        DOMTree = xml.dom.minidom.parse(file_name)
        collection = DOMTree.documentElement
        # 在集合中获取所有entry数据
        entrys = collection.getElementsByTagName("entry")
        print(entrys)
        result = []
        for entry in entrys:
            content = entry.getElementsByTagName('content')[0]
            print(content.childNodes[0].data)
            i = content.childNodes[0].data
            result.append(i)
        return result
    
    with open("aiyiqi_danmu.txt", mode="w", encoding="utf-8") as f:
        for x in range(1,12):
            l = xml_parse("./aiqiyi/iqiyi" + str(x) + ".xml")
            for line in l:
                f.write(line)
                f.write("\n"

## 3.数据预览 ##

![format_png 2][]

\-----------------

长按识别下方二维码，并关注公众号

![format_png 3][]

1.回复“**PY**”领取**1GB Python数据分析资料**

2.回复“**BG**”领取**5GB 名企数据分析报告**

[format_png]: /images/20221122/4fd8e9fab7e74422aaff0d63695b660d.png
[format_png 1]: /images/20221122/771862db848a46038683d8d765f27d6a.png
[format_png 2]: /images/20221122/396ff8cc8b1943269db006bbb8528ba7.png
[format_png 3]: /images/20221122/33ed33b725ca4947ac1ab2ea3835ddd6.png