Python分析《奔跑吧》21307 条热评，看看大家都在吐槽些什么

柔情只为你懂 2022-12-30 03:52 196阅读 0赞

## 前言 ##

**「《奔跑吧》第五季」**已经播出两期了，节目以“黄河生态经济带”沿线地区为依托，通过创新游戏设置、直播带货扶贫等新形式，展现黄河流域的重要地位，描绘黄河生态经济带城市“文化之美”。

然而，网友貌似并不买账，邓超、郑凯等退出跑男后，**「收视明显不如以前」**，而吐槽貌似有所增加。为了了解吃瓜群众们对于跑男的看法，我爬了爬腾讯视频关于跑男的评论，并做了简单文本**「可视化分析」**。

## 数据获取 ##

腾讯视频评论要点击**「查看更多评论」**才能加载更多数据，很明显是一个动态网页，评论内容使用了**「Ajax动态加载技术」**。因此，我们需要找到**「真实URL」**，然后再请求数据。通过真实URL获取到cursor=？和\_=？这两个参数即可。核心代码如下：

def main():
        #初始页面的_=?
        page=1607948139253
        #初始待刷新页面的cursor=？
        lastId="0"
        for i in range(1,1000):
            time.sleep(1)
            html = get_content(page,lastId)
            #获取评论数据
            commentlist=get_comment(html)
            print("------第"+str(i)+"轮页面评论------")
            k = 0
            for j in range(1,len(commentlist)):
                comment = commentlist[j]
                k += 1
                print('第%s条评论：%s'%(k,comment))
            #获取下一轮刷新页ID
            lastId=get_lastId(html)
            page += 1
    
    if __name__ == '__main__':
        main()

## 数据处理 ##

### 导入相关包 ###

import jieba
    import re
    import numpy as np
    import pandas as pd 
    import matplotlib.pyplot as plt 
    from pyecharts.charts import *
    from pyecharts import options as opts 
    from pyecharts.globals import ThemeType  
    import stylecloud
    from IPython.display import Image

### 导入评论数据 ###

分别爬取了两期评论，因此需要分别读取并合并所有数据。

df1 = pd.read_csv('/腾讯评论/paonan.csv',names=['评论内容'])
    df2 = pd.read_csv('/腾讯评论/paonan1.csv',names=['评论内容'])
    df = pd.concat([df1,df2])
    df.head(10)

![format_png][] 数据预览

### 查看数据信息 ###

print('共有评论数：',df.shape[0],'条')

共有评论数：21307 条

df.info()
    df['评论内容'] = df['评论内容'].astype('str')

<class 'pandas.core.frame.DataFrame'>
    Int64Index: 21307 entries, 0 to 11833
    Data columns (total 1 columns):
     #   Column  Non-Null Count  Dtype 
    ---  ------  --------------  ----- 
     0   评论内容    21199 non-null  object
    dtypes: object(1)
    memory usage: 332.9+ KB

### 删除重复评论 ###

df = df.drop_duplicates()

### 删除缺失数据 ###

df = df.dropna()

### 增加评论类型 ###

人为划分评论类型，20字以下为短评，20-50字为中评，50字以上为长评。

cut = lambda x : '短评' if len(x) <= 20 else ('中评' if len(x) <=50 else '长评')
    df['评论类型'] = df['评论内容'].map(cut)

### 提取演员关键词 ###

根据评论内容关键词，提取出人物提及字段。

tmp=[]
    for i in df["评论内容"]:
        if "黑牛" in i:
            tmp.append("李晨")
        elif "杨颖" in i:
            tmp.append("杨颖")
        elif "沙溢" in i:
            tmp.append("沙溢")
        elif "坤" in i:
            tmp.append("蔡徐坤")
        elif "毅" in i:
            tmp.append("成毅")
        elif "一桐" in i:
            tmp.append("李一桐")      
        else:
            tmp.append("其他")
    df['人物提及'] = tmp

### 机械压缩去重 ###

定义一个机械压缩函数：

def yasuo(st):
        for i in range(1,int(len(st)/2)+1):
            for j in range(len(st)):
                if st[j:j+i] == st[j+i:j+2*i]:
                    k = j + i
                    while st[k:k+i] == st[k+i:k+2*i] and k<len(st):   
                        k = k + i
                    st = st[:j] + st[k:]    
        return st
    yasuo(st="学Python真的真的真的很菜很菜")

调用函数，对评论内容进行机械压缩去重：

df["评论内容"] = df["评论内容"].apply(yasuo)

### 特殊字符处理 ###

用正则表达式提取出中文：

df['评论内容'] = df['评论内容'].str.extract(r"([\u4e00-\u9fa5]+)")
    df = df.dropna()  #纯表情弹幕直接删除

过滤掉评论字数少于四个字的评论：

df = df[df["评论内容"].apply(len)>=4]
    df = df.dropna()

## 数据可视化 ##

### 整体评论情况 ###

# 绘制词云图
    text1 = get_cut_words(content_series=df['评论内容'])
    stylecloud.gen_stylecloud(text=' '.join(text1), max_words=1000,
                              collocations=False,
                              font_path='演示悠然小楷.ttf',
                              icon_name='fas fa-video',
                              size=653,
                              #palette='matplotlib.Inferno_9',
                              output_name='./评论.png')
    Image(filename='./评论.png')

![format_png 1][]通过对所有评论进行词云图绘制，我们发现**「成毅」**提及最多，对于最新跑男的看法，大家表现出非一致的看法。有人说**「好看、喜欢」**，有人说**「没意思」**。另外，评论中还多次提到往期节目中的嘉宾，如**「陈赫、郑凯、郭麒麟」**等，没有比较就没有伤害，很多人还是更喜欢往期的跑男的。

### 评论类型分布 ###

df2 = df.groupby('评论类型')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="评论类型占比",subtitle="数据来源：腾讯视频",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 2][]

短评占据**「81.99%」**，仅有2.65%的观众给出了50字以上的评论。

### 演员角色提及 ###

df8 = df["人物提及"].value_counts(ascending=True)[:6]
    print(df8.index.to_list())
    print(df8.to_list())
    c = (
        Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
        .add_xaxis(df8.index.to_list())
        .add_yaxis("",df8.to_list()).reversal_axis()
        .set_global_opts(title_opts=opts.TitleOpts(title="人物提及次数",subtitle="数据来源：腾讯视频 \t制图：菜J学Python",pos_left = 'top'),
                           xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改横坐标字体大小
                           yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改纵坐标字体大小
                           )
        .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
        )
    c.render_notebook()

![format_png 3][]新成员**「成毅」**被观众提及次数最多，达到790次，其次是**「蔡徐坤」**，被提及452次。李晨被提及次数最少。

### 成毅评论词云 ###

cy = df[df["人物提及"]=="成毅"]
    text = get_cut_words(content_series=cy['评论内容'])
    stylecloud.gen_stylecloud(text=' '.join(text), max_words=500,
                              collocations=False,
                              font_path='演示悠然小楷.ttf',
                              icon_name='fas fa-comments',
                              #palette='matplotlib.Inferno_9',
                              size=653,
                              output_name='./dinghui.png')
    Image(filename='./dinghui.png')

![format_png 4][]成毅在新一季跑男的表现被网友广泛议论，认可他的观众**「喜欢、期待、可爱」**他的表现。也有相当多的观众觉得他**「智商」**有问题，是个**「游戏黑洞」**，而且很**「搞笑」**。

### 情感分析 ###

这里使用了百度开源的成熟**「NLP模型」**来预测情感倾向，准确率相对还可以，通过模型计算出评论的**「积极分值」**和**「消极分值」**。

import paddlehub as hub
    senta = hub.Module(name="senta_bilstm")
    texts = df['评论内容'].tolist()
    input_data = {'text':texts}
    res = senta.sentiment_classify(data=input_data)
    df['积极分值'] = [x['positive_probs'] for x in res]
    df['消极分值'] = [x['negative_probs'] for x in res]

对积极分值求平均值，我们发现**「低于0.5」**，可见，观众对新一季跑男并不太感冒。

df["积极分值"].mean()

0.47351818330338175

通过积极分值和消极分值的判断，我们可以进一步判断出每个评论的**「情感倾向」**。

t = df.eval("积极分值-消极分值")
    df["情感倾向"] = np.where(t > 0, "正面", np.where(t == 0, "中立", "负面"))
    df

![format_png 5][]

### 观众对成毅的情感倾向 ###

df2 = df[df["人物提及"]=="成毅"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对成毅情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 6][]

df[df["人物提及"]=="成毅"].sample(10)

![format_png 7][]

### 观众对蔡徐坤的情感倾向 ###

df2 = df[df["人物提及"]=="蔡徐坤"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对蔡徐坤情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 8][]

df[df["人物提及"]=="蔡徐坤"].sample(10)

![format_png 9][]

### 观众对李晨的情感倾向 ###

df2 = df[df["人物提及"]=="李晨"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对李晨情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 10][]

df[df["人物提及"]=="李晨"].sample(5)

![format_png 11][]

### 观众对杨颖的情感倾向 ###

df2 = df[df["人物提及"]=="杨颖"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对杨颖情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 12][]

df[df["人物提及"]=="杨颖"].sample(10)

![format_png 13][]

### 观众对沙溢的情感倾向 ###

df2 = df[df["人物提及"]=="沙溢"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对沙溢情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 14][]

df[df["人物提及"]=="沙溢"].sample(10)

![format_png 15][]

### 观众对李一桐的情感倾向 ###

df2 = df[df["人物提及"]=="李一桐"].groupby('情感倾向')['评论内容'].count()
    df2 = df2.sort_values(ascending=False) 
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
            .add("", zip(regions,values),radius=["40%", "70%"])
            .set_global_opts(title_opts=opts.TitleOpts(title="观众对李一桐情感倾向",subtitle="数据来源：腾讯视频\t制图：菜J学Python",pos_top="2%",pos_left = 'center'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
        )
    c.render_notebook()

![format_png 16][]

df[df["人物提及"]=="李一桐"].sample(10)

![format_png 17][]

-----------------
    长按识别下方二维码，并关注公众号
    
    1.回复“PY”领取1GB Python数据分析资料
    
    2.回复“BG”领取3GB 名企数据分析报告

[format_png]: /images/20221120/8da413c7b0234b6b958abf96f5c9f869.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpPWmVMSnJ4WlZZR0p3V3hWVWVJNDBtdUxhS0hMalB3ZEZ6NG1pYUE0QkY0TEIyZlF3bkZwb0l3LzY0MA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmo3aldZemljeEFZT1VpYUFKcWdZTkZyNU1ReFl4ZXVYc3E4V0dGN3RNUzd6TFVQeFBaQ2VIamlhM1EvNjQw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpSSERobmZ6Wk5QWlhEUHRCZ3F5MHprRDRpYndEdGtpYVR5aWNPd0lBT2NTN2VWNjZZUk9VVkJmT0EvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmppYWlhSlp2RUVyTzl2ZkEwMHljU3ZKMjFva2VEU21QWGxHN3Z2SXdzN3NwNnVPTXlNN2Nyc3VNZy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmprYjNqQ2NRTVhvT0c3R0FyeUU0M0VaS1c1cHFLU2xZNzNZNkkzcTJ6U2hjdGRxTmlhSVVPRnZRLzY0MA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpuWk1pY1FCbkNBRlB6eFl1a1JKWTBBOUEyQURSdldZQ2FaaWFBSkRBQzlzbnV3ZENiaEI4UUxHZy82NDA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpyeHVPS3ZtSWhpYTRrZDNvaWJDUzlpYWRjM3h2SGtuaDhjWlQ3SGRpYjVwODcySk5QaEFUdDdnNXh3LzY0MA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpMVll0VVlrdG10dXpKV1NleVE3czFzZUNBWjREMkFodUp3WE9vbVpDeGlhaFplU1huZExEWnZBLzY0MA?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpCRXNXUXkyMUt6Wk1ERlZPcExJc3l1UFNTWkVaUUh4RWhQSFZoaWJxS05PeGZCbFZJVG9icHN3LzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpiaWFlUEI4aWJnY3VpY1NTR2FLN3pYOWg1VWwyQ2liYlNycnFCczk4Q2ljWWtnem10dnpjbThhUkQxdy82NDA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpLemo2WTd1UDhONVZVajFTNHE5Vkh5NmN6M2wzMVR6aExqaWJ5Q1BmdHlvOWF5MkVMVEtZbDNnLzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpTT3ZVQUVWTHBzYWE2b0FrR0d2aWJQelJXbU1EVk9sbGNpYVp2MHYxQUF6SFBPMmdSbEZZV2VSdy82NDA?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmp3RjFReUVaekFWZ21mZDdjRENpYUY4a09oSWp0VEk4T09YcFAyV0lhQUdubmd1cVFnVkNvQ3dnLzY0MA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpSTTJ4b2dQSEQ0WDFqMmE2ZjAwRVFuQTQ2aGR2em9ZdWVBYVB1TU55WUF6M2xjZ2ZaRmdaeEEvNjQw?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmpPa2xEVUZMWlRMZVh6d3R3NTMxZ0FtWFJDRlY5T0pZOWs2NW0wYmROSUJiUEdRSnNNMkIyQVEvNjQw?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmo5clJrNU1xTjZzY0Q3ZzBNM1ZzOHJOV2dEa0hCQ0xKcmlhQlpQaWNDT2lhOGMzb0tRTERZdVZ6dVEvNjQw?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9sN1VTZ0diWnUxeFQwemFGdnNaSGttMXdzZDVQWEtpYmo3RkNoc2taNm5xcG1oZWU3dnhrNXZFeGY5NDA0QWRGaE94cGEwMjZ5UTNYUm9GUFJzTHloTkEvNjQw?x-oss-process=image/format,png