哪吒票房逼近30亿，从豆瓣短评简单分析人们对哪吒的态度

港控/mmm° 2024-04-17 06:29 54阅读 0赞

# 前言 #

--------------------

*  暑期档电影惨淡，但随着哪吒爆红开拓了新局面。这也是国产动画的首次爆红。在哪吒刚出，笔者`以为最多10亿`就算不错的了。没想过仅过了几天就破了10亿。接着头条又突破20亿--------目前11天27亿，势头增长`依然很猛`！

那笔者就很好奇人们是怎么看待这一步电影的呢？

*  哪吒？我想哪吒是`陪伴过不少人`成长的一部动画片吧，也是记忆中算得上`最好看`的动画片`之一`了。里面的哪吒、小猪熊、申公豹、石鸡娘娘令人历历在目。我们或许都被哪吒的敢打敢为、勇敢和天真`所感动`！

# 分析 #

*  对于这么一部爆红的动画电影。我想**简单分析**人们对`哪吒动画电影的评价状况`。那么就选择猫眼票房或者`豆瓣`的短评爬下来分析了。
 *  step1：打开豆瓣主页`哪吒短评`的界面。F12打开调试点击页面下一页会发现有**ajax数据交互**。
 *  step2:分析这个接口，发现`无加密`。返回的是`json套html`需要解析处理一下。用网页访问这个接口。但是你会发现一旦你`访问页面靠后`它就`拒绝访问`了。提示你要**登录再访问**。
 *  step3:思路很清晰了。只需要**登录**—>**访问接口爬取存储**—>**可视化分析即可**

# 具体步骤 #

## 登录 ##

*  账密登录fidder抓包发现可以`直接发送请求登录`。大胆猜测没有cookie限制。登陆后即可访问接口！
 *  程序方面只需要根据参数进行模拟即可，登录完将cookie保存。后面的访问都带着这个cookie即可。

登录部分代码为：

import  requests
    import urllib.parse
    from http import cookiejar
    
    url='https://accounts.douban.com/j/mobile/login/basic'
    header={
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
    'Referer': 'https://accounts.douban.com/passport/login_popup?login_source=anony',
            'Origin': 'https://accounts.douban.com',
     'content-Type':'application/x-www-form-urlencoded',
     'x-requested-with':'XMLHttpRequest',
     'accept':'application/json',
     'accept-encoding':'gzip, deflate, br',
     'accept-language':'zh-CN,zh;q=0.9',
     'connection': 'keep-alive'
     ,'Host': 'accounts.douban.com'
     }
    data={
        'ck':'',
        'name':'',
        'password':'',
        'remember':'false',
        'ticket':''
    }
    def login(username,password):
        global  data
        data['name']=username
        data['password']=password
        data=urllib.parse.urlencode(data)
        print(data)
        req=requests.post(url,headers=header,data=data,verify=False)
        cookies = requests.utils.dict_from_cookiejar(req.cookies)
        print(cookies)
        return cookies
    复制代码

## 爬取与存储 ##

*  通过api的规则拼凑，抓下来的数据。我们主要需要`评价星`,和`评论语句`。
 *  使用Beautifulsoup进行dom解析。使用`xldr`、`xldw`将数据写入excel文件中。一个页面20条。页面url增加直到`出现异常`为止停止。主要代码实现：

def getcomment(cookies):
       start=0
       w = xlwt.Workbook(encoding='ascii')
       ws = w.add_sheet('sheet1')
       index=1
       while True:
         try:
           url = 'https://movie.douban.com/subject/26794435/comments?start='+str(start)+'&limit=20&sort=new_score&status=P&comments_only=1'
            start+=20
            req = requests.get(url,cookies=cookies)
            res = req.json()
            res=res['html']
            soup = BeautifulSoup(res, 'lxml')
            node = soup.select('.comment-item')
            #print(node[0])
            for va in node:
               name = va.a.get('title')
               star = va.select_one('.comment-info').select('span')[1].get('class')[0][-2]
               comment = va.select_one('.short').text
               print(name, star, comment)
               ws.write(index,0,index)
               ws.write(index, 1, name)
               ws.write(index, 2, star)
               ws.write(index, 3, comment)
               index+=1
    
         except Exception as  e:
              print(e)
              break
        w.save('nezha.xls')
    复制代码

*  对于爬取的结过一览

## 可视化分析 ##

*  我们要对评分进行统计、词频统计。还有就是生成词云展示。而对应的就是`matplotlib`、`WordCloud`库。

**评分统计**：

*  对于评分统计，使用数组将上面的`1，2，3，4，5`，五个分数段读取时候写入，根据数据画出饼状图分析即可。
 *  从上图也可以知道，对于评分，大部分还是分布在5分和4分的，占比分别为`41.2%`和`33.4%`.而2分和1分时非常少！这足以说明这部片绝对**不是烂片**或者**争议不是很大**。一部片不可能满足所有人。存在不满意的都在`三分`但依然能够接受。所以从评分分布来看哪吒还是广受支持的！

**词频统计**：

*  根据jieba分词。统计前面热词出现的次数。反应观众`共鸣点`。
 *  可以看的出国产、大圣(大圣归来对比).这些热门话题直戳心头！

**词云展示**：

*  相比词频，词云**无法看到词语的准确数量**，但是可以**看的到更多词汇**、人们的评价。笔者这里通过count()类(map)对分词结果进行词频统计。统计完的词频排序`前300个`词展示在2个词云上。这些词语的出现频率均大于10.所以还是`有所参考价值额`。
 *  可以从词云简单分析出大家还是很满意的，充满浓浓`封神色彩`、`动画风格`、`不屈的争斗`、`国产的激动`!在票房直逼30亿的情况下！我、要去看了。

**代码**

*  顺便给出可视化分析部分代码：

import matplotlib.pyplot as plt
    import matplotlib
    import jieba
    import xlwt
    import xlrd
    from wordcloud import WordCloud
    import numpy as np
    from collections import Counter
    matplotlib.rcParams['font.sans-serif'] = ['SimHei']
    matplotlib.rcParams['axes.unicode_minus'] = False
    
    def anylasescore(comment):
        score=[0,0,0,0,0,0]
        count=0
        for va in comment:
            try:
                score[int(va[2])]+=1
                count+=1
            except Exception as e:
                continue
        print(score)
        label='1分','2分','3分','4分','5分'
        color = 'blue', 'orange', 'yellow', 'green', 'red'  # 各类别颜色
        size=[0,0,0,0,0]
        explode=[0,0,0,0,0]
        for i in range(1,5):
            size[i]=score[i]*100/count
            explode[i]=score[i]/count/10
        pie = plt.pie(size, colors=color, explode=explode, labels=label, shadow=True, autopct='%1.1f%%')
        for font in pie[1]:
            font.set_size(8)
        for digit in pie[2]:
            digit.set_size(8)
        plt.axis('equal')
        plt.title(u'各个评分占比', fontsize=12)
        plt.legend(loc=0, bbox_to_anchor=(0.82, 1))  # 图例
        # 设置legend的字体大小
        leg = plt.gca().get_legend()
        ltext = leg.get_texts()
        plt.setp(ltext, fontsize=6)
        plt.savefig("score.png")
        # 显示图
        plt.show()
    def getzhifang(map):
        x=[]
        y=[]
        for k,v in map.most_common(15):
            x.append(k)
            y.append(v)
        Xi = np.array(x)
        Yi = np.array(y)
        x = np.arange(0, 15, 1)
        width = 0.6
        plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
        plt.figure(figsize=(8, 6))  ##指定图像比例： 8：6
        plt.bar(Xi, Yi, width, color='blue', label='热门词频统计', alpha=0.8,)
    
        plt.xlabel("词频")
        plt.ylabel("次数")
        plt.show()
        return
    def getciyun_most(map):
        x = []
        y = []
        for k, v in map.most_common(300):
            x.append(k)
            y.append(v)
        xi=x[0:150]
        xi=' '.join(xi)
        print(xi)
        backgroud_Image = plt.imread('nezha.jpg')  # 如果需要个性化词云
        wc = WordCloud(background_color="white",
                       width=1500, height=1200,
                       #min_font_size=40,
                       mask=backgroud_Image,
                       font_path="simhei.ttf",
                       max_font_size=150,  # 设置字体最大值
                       random_state=50,  # 设置有多少种随机生成状态，即有多少种配色方案
                       )  # 字体这里有个坑，一定要设这个参数。否则会显示一堆小方框wc.font_path="simhei.ttf"   # 黑体
        # wc.font_path="simhei.ttf"
        my_wordcloud = wc.generate(xi)
        plt.imshow(my_wordcloud)
        my_wordcloud.to_file("img.jpg")
        xi=' '.join(x[150:300])
        my_wordcloud = wc.generate(xi)
        my_wordcloud.to_file("img2.jpg")
    
        plt.axis("off")
    
    def anylaseword(comment):
        commnetstr=''
        c = Counter()
        low=Counter()
        index=0
        for va in comment:
            seg_list = jieba.cut(va[3],cut_all=False)
            index+=1
            for x in seg_list:
                if len(x) > 1 and x != '\r\n':
                     try:
                        c[x]+=1
                     except:
                         continue
            commnetstr+=va[3]
        for (k, v) in c.most_common():
            if v<5:
                c.pop(k)
                continue
            #print(k,v)
        print(len(c),c)
        getzhifang(c)
        getciyun_most(c)
        #print(commnetstr)
    def anylase():
        data = xlrd.open_workbook('nezha.xls')  # 打开xls文件
        table = data.sheets()[0]  # 打开第i张表
        comment = []
        for i in range(1, 500):
            comment.append(table.row_values(i))
        # print(comment)
        anylasescore(comment)
        anylaseword(comment)
    
    if __name__ == '__main__':
        anylase()
    
    
    复制代码

# 结语 #

*  如果自己需要可以到[github下载项目完整代码][github]。当然，只需要更改部分即可同理分析其他电影。
 *  项目`依然有不够完善地方`，如影评，对不同评分的平均不同处理、其他不同角度如评论用户性别、地点等等等等，这里不做延申。
 *  如果对`后端、爬虫、数据结构算法`等感性趣欢迎关注我的个人公众号交流(关注一波十年少)：`bigsai` 持续输出分享！
 *

转载于:https://juejin.im/post/5d4ba535f265da03e275d687

[github]: https://link.juejin.im?target=https%3A%2F%2Fgithub.com%2Fjavasmall%2Fpython%2Ftree%2Fmaster%2F%25E7%2588%25AC%25E8%2599%25AB%2FInclude%2F%25E8%25B1%2586%25E7%2593%25A32