【2019.05】python 爬取网易云音乐评论（热门评论和全部评论）绘制词云图【大碗宽面】

r囧r小猫 2022-04-24 11:32 470阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]  
在 Headers 请求头中，我们可以看到评论数据的链接，我们看到这是 post 的请求。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]  
但是在之后，我们发现这个请求的参数是经过加密的。之前在知乎上看到有人使用AES进行过解密。不过在这儿，我们就不研究解密了。因为网易云官方提供了非加密的接口：

http://music.163.com/api/v1/resource/comments/R_SO_4_1359595520?limit=20&offset=0

其他歌曲的话把 R\_SO\_4\_ 换成对应歌曲的 ID 就行，在网页版的云音乐进入对应歌曲，url中会显示当前歌曲的ID

![在这里插入图片描述][20190424220450446.png]  
代码  
爬取热门评论和爬取全部评论

#!/usr/bin/env python
    # -*- coding: utf-8 -*-
    # @Time : 2019/4/24 21:53
    # @Author : Paulson
    # @File : 大碗宽面.py
    # @Software: PyCharm
    # @define : function
    import random
    import time
    
    import jieba
    import requests
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    from wordcloud import ImageColorGenerator
    import numpy as np
    import PIL.Image as Image
    class Spider(object):
        def __init__(self):
            self.hot_url = "http://music.163.com/api/v1/resource/comments/R_SO_4_1359595520?limit=20&offset=0"
            self.all_url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_1359595520?limit=20&offset={}'
            self.headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}
    
        def get_data(self,url):
            return requests.get(url, headers=self.headers).json()
    
        def parse_data_hot(self):
            data = self.get_data(self.hot_url)
            hotComments = data['hotComments']
            contentlist = []
            for i in hotComments:
                content = i['content']
                contentlist.append(content)
            return contentlist
    
        def parse_data_all(self):
            all_comments = []  # 提取前100页评论信息
            for j in range(0, 2001, 20):
                all_url = self.all_url.format(j)
                for k in range(0, 20):
                    data = self.get_data(all_url)
                    comment = data['comments'][k]['content']  # 所有评论
                    all_comments.append(comment)
                print('正在抓取全部评论，请稍等...')
                time.sleep(int(format(random.randint(3, 6))))
            return all_comments
    
        def all_wc(self):
            content_all_list = self.parse_data_all()
            text = ' '.join(content_all_list)
            cut = jieba.cut(text, cut_all=True)
            word = ','.join(cut)
            coloring = np.array(Image.open("1.jpg"))  # 电脑中自定义词云的图片
            my_wordcloud = WordCloud(background_color="white", max_words=3000, max_font_size=200,
                                     mask=coloring, random_state=100, font_path='simsun.ttc',
                                     scale=3).generate(word)  # 定义词云背景图颜色、尺寸、字体大小、电脑中字体选择,random_state 为每个单词返回一个PIL颜色
            image_colors = ImageColorGenerator(coloring)
            plt.imshow(my_wordcloud.recolor(color_func=image_colors))  # 绘图颜色
            plt.imshow(my_wordcloud)  # 绘图内容
            plt.axis("off")
            # plt.show() # 显示图
            # d = path.dirname(__file__) # project 当前目录
            # my_wordcloud.to_file(path.join(d, '热门评论图.png'))
            my_wordcloud.to_file("全部评论图.jpg")
            print('全部评论词云图完成，在项目代码目录下查看')
    
    
        def hot_wc(self):
            content_list = self.parse_data_hot()
            text = ' '.join(content_list)
            cut = jieba.cut(text, cut_all=True)
            word = ','.join(cut)
            coloring = np.array(Image.open("1.jpg"))  # 电脑中自定义词云的图片
            my_wordcloud = WordCloud(background_color="white", max_words=3000, max_font_size=200,
                                     mask=coloring, random_state=100, font_path='simsun.ttc',
                                     scale=3).generate(word)  # 定义词云背景图颜色、尺寸、字体大小、电脑中字体选择,random_state 为每个单词返回一个PIL颜色
            image_colors = ImageColorGenerator(coloring)
            plt.imshow(my_wordcloud.recolor(color_func=image_colors))  # 绘图颜色
            plt.imshow(my_wordcloud)  # 绘图内容
            plt.axis("off")
            # plt.show() # 显示图
            # d = path.dirname(__file__) # project 当前目录
            # my_wordcloud.to_file(path.join(d, '热门评论图.png'))
            my_wordcloud.to_file("热门评论图.jpg")
            print('热门评论词云图完成，在项目代码目录下查看')
    
    
    
    if __name__ == '__main__':
        s = Spider()
        s.hot_wc()
        s.all_wc()

*  代码可以优化的，比如把jieba分词封装一个函数，生成词云设置为一个函数，代码会比较简洁。不过太晚了，要给女朋友打电话了，以后再看看，另外，全部评论还在爬取中，后期贴图。结束。。。  
    热门评论图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]

补图  
全部评论的词云图中出现的‘哈哈’ ‘的’这种词有点多，应该对词进行清洗，处理掉停用词之后再行绘制词云图。有空再说…  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70]: /images/20220215/15d4be689db6472683af287e2acc1a04.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 1]: /images/20220215/a5b7e50dfdf64314830260f8150cd711.png
[20190424220450446.png]: /images/20220215/87739a583e1e42e0975efd0689bea489.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 2]: /images/20220215/c7609be75f9341e0a3a091a6e4b92991.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4NTM0MTA3_size_16_color_FFFFFF_t_70 3]: /images/20220215/bb38dc0d314843a7b1a257a281e297c0.png