最近《赘婿》很火？Python爬取视频弹幕

快来打我* 2022-11-07 14:41 337阅读 0赞

# 前言 #

最近爱奇艺独播热剧『**赘婿**』特别火，笔者也在一直追，借助手中的技术，想爬取弹幕分析该剧的具体情况以及网友的评论！

![最近《赘婿》很火？Python爬取视频弹幕][Python]

由于为了让小白**彻底学会**使用python爬取爱奇艺弹幕的技术，因此本文详细介绍如何进行爬取，**下文再进行分析数据**！

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# 分析数据包 #

**1.查找数据包**

在浏览器里面按F12

![最近《赘婿》很火？Python爬取视频弹幕][Python 1]

找到这类url

https://cmts.iqiyi.com/bullet/54/00/7973227714515400_60_2_5f3b2e24.br

**2.分析弹幕链接**

其中的/54/00/7973227714515400，才是有用的！！！！

爱奇艺的弹幕获取地址如下：

https://cmts.iqiyi.com/bullet/参数1\_300\_参数2.z

参数1是：/54/00/7973227714515400

参数2是：数字1、2、3.....

爱奇艺每5分钟会加载新的弹幕，每一集约是46分钟,46除以5向上取整就是10

因此弹幕的链接如下：

https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_1.z
    https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_2.z
    https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_3.z
    ......
    https://cmts.iqiyi.com/bullet/54/00/7973227714515400_300_10.z

**3.解码二进制数据包**

通过弹幕链接下载的弹幕包是**以z为后缀格式**的文件，需要进行解码！

def zipdecode(bulletold):
        '对zip压缩的二进制内容解码成文本'
        decode = zlib.decompress(bytearray(bulletold), 15 + 32).decode('utf-8')
        return decode

解码之后将数据保存成xml格式

# 把编码好的文件分别写入个xml文件中（类似于txt文件），方便后边取数据
      with open('./lyc/zx' + str(x) + '.xml', 'a+', encoding='utf-8') as f:
          f.write(xml)

![最近《赘婿》很火？Python爬取视频弹幕][Python 2]

![最近《赘婿》很火？Python爬取视频弹幕][Python 3]

# 解析xml #

**1.提取数据**

![最近《赘婿》很火？Python爬取视频弹幕][Python 4]

通过查看xml文件，我们需要提取的内容有**1.用户id**（uid）、**2.评论内容**（content）、**3.评论点赞数**（likeCount）。

#读取xml文件中的弹幕数据数据
    from xml.dom.minidom import parse
    import xml.dom.minidom
    def xml_parse(file_name):
        DOMTree = xml.dom.minidom.parse(file_name)
        collection = DOMTree.documentElement
        # 在集合中获取所有entry数据
        entrys = collection.getElementsByTagName("entry")
        print(entrys)
        result = []
        for entry in entrys:
            uid = entry.getElementsByTagName('uid')[0]
            content = entry.getElementsByTagName('content')[0]
            likeCount = entry.getElementsByTagName('likeCount')[0]
            print(uid.childNodes[0].data)
            print(content.childNodes[0].data)
            print(likeCount.childNodes[0].data)

![最近《赘婿》很火？Python爬取视频弹幕][Python 5]

# 保存数据 #

**1.保存前工作**

import xlwt
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding = 'utf-8')
    # 创建一个worksheet
    worksheet = workbook.add_sheet('sheet1')
    
    
    # 写入excel
    # 参数对应 行, 列, 值
    worksheet.write(0,0, label='uid')
    worksheet.write(0,1, label='content')
    worksheet.write(0,2, label='likeCount')

导入xlwt库（写入csv），并定义好标题（uid、content、likeCount）

**2.写入数据**

for entry in entrys:
        uid = entry.getElementsByTagName('uid')[0]
        content = entry.getElementsByTagName('content')[0]
        likeCount = entry.getElementsByTagName('likeCount')[0]
        print(uid.childNodes[0].data)
        print(content.childNodes[0].data)
        print(likeCount.childNodes[0].data)
        # 写入excel
        # 参数对应 行, 列, 值
        worksheet.write(count, 0, label=str(uid.childNodes[0].data))
        worksheet.write(count, 1, label=str(content.childNodes[0].data))
        worksheet.write(count, 2, label=str(likeCount.childNodes[0].data))
        count=count+1

最后保存成弹幕数据集-李运辰.xls

for x in range(1,11):
        l = xml_parse("./lyc/zx" + str(x) + ".xml")
    
    
    # 保存
    workbook.save('弹幕数据集-李运辰.xls')

![最近《赘婿》很火？Python爬取视频弹幕][Python 6]

[Python]: /images/20221023/33aa3429131a491e838eff82611571cf.png
[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[Python 1]: /images/20221023/efc3ae95530240bca7df9c7678304070.png
[Python 2]: /images/20221023/69c09826ddf746249516a341a0bf26f9.png
[Python 3]: /images/20221023/60889152d2e74033a8c100bbf9ece3cb.png
[Python 4]: /images/20221023/b1f992174a544f81b13a0c56f6bf05ea.png
[Python 5]: /images/20221023/50a4507005874a3c80ba1ff9ccbdb4cc.png
[Python 6]: /images/20221023/3a237361f840482093f6fef0fa95ab13.png