当python词云遇到网易云民谣

我就是我 2024-02-05 12:21 15阅读 0赞

### 前言 ###

词云，就是用文字词语来生成各种有趣的可视化图片。在python中使用*wordcloud*模块来实现词云。

### 采集数据 ###

构建词云首先需要文本数据，很多时候我们都是将分好的词语，或者大段落的文本存放到本地文件中，然后在程序中完成分词，最后用来构建词云。

作为一个资深网抑云患者，数据这一块，我打算用网易云民谣的评论作为文本输入。其中就有我比较喜欢的这首《玫瑰》。

![392a06ab85ba30dad13c236772cda456.png][]

这首歌一共接近8W条评论，我们就用爬虫技术来对部分评论做数据爬取。爬虫这一块代码我知道大家不爱看，所以直接将爬取结果放出来。

![193c598c8a7e1c09ae5324cc4360f716.png][]

上面是一条条原始未处理的评论，后面我们会完成分词、无效词语剔除等操作。

### 分词 ###

分词使用的是*jieba*模块，对每条评论内容进行分词。在将评论内容分割为一个个词语的同时，像一些人称代词、数字以及“的、地”词语，需要去掉。最后一些*名词、动词、形容词*才是我们需要的目标单词。

jieba提供了很多分词的方法，这里我使用的是*jieba.posseg*完成分词和*词性标注*，核心代码如下：

![93643f2e6d8f30e42b5edb4b4a6f64fd.png][]

1.  getCommnets()：爬取网易云评论
2.  forComments()：解析爬取的评论json
3.  dest定义了目标词性，例如n表示名词，v表示动词
4.  *pesg*是jieba.posseg的别名，*cut*完成分词和词性标注

### 生成图云 ###

将分词好的数据筛选之后，存放到list中，然后使用*空格*分割每个单词。

![fa58aa072570f8f246ecbe0e65deb46d.png][]

##### 1. 基本图云 #####

然后通过*WordCloud*构建基本的图云。

![a3b38c45506411e18bf6cf0769eb07c5.png][]

WordCloud的参数有很多，我们这里只设置字体、图云背景颜色、图云宽和高。

wordcloud = WordCloud(font_path="simsun.ttc",
                          background_color="white",
                          height=1000,
                          width=800,
                          random_state=42)
    wordcloud.generate(txt)
    plt.imshow(wordcloud)
    plt.axis("off")
    plt.show()

其中，*random\_state*用来控制每次运行程序，生成的图云都是一样的。这里使用的字体是*宋体*，txt是处理后的网易云评论的文本。使用*matplotlib*模块来展示图云。

![8f13333742029d07f82e8834387b631a.png][]

这样，一张简单的词云就构建完成了，单词的大小根据词语出现的频次进行展示。

##### 2. 以图片为背景 #####

还有一种就是以图片为背景，图云的形状、颜色会根据背景图片生成。

im = Image.open('123.jpeg')
    pic = np.array(im)
    w, h = im.size
    wordcloud = WordCloud(mask=pic, background_color='white', random_state=42, max_words=20000, max_font_size=60, scale=10, height=h, font_path='xknlt.ttf').generate(txt)
    image_colors = ImageColorGenerator(pic)
    plt.imshow(wordcloud.recolor(color_func=image_colors), interpolation='bilinear')
    plt.axis("off")
    plt.show()

这个是用作图云背景的图片，字体使用的是*小可奶酪体*，字体颜色设置为image\_colors。

![87538ea91bfbb610f6c7d807d7661ece.jpeg][]

下面是运行程序后生成的图云：

![45cbb5fd43af1a15816fbbda747b850d.png][]

图片使用PS抠图之后再用作背景。在运行程序时，在Image.py中报MemoryError的错误，后来用PS将图像尺寸缩小了一半之后，程序就能正常运行了。

![20210519233121183.png][]

[392a06ab85ba30dad13c236772cda456.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/43c647af8b6a46a0a13e943fa5d38579.png
[193c598c8a7e1c09ae5324cc4360f716.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/5e6974110db94f59ab20b98c3751682a.png
[93643f2e6d8f30e42b5edb4b4a6f64fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/935a82986aa344b191a2eaa043b1fb99.png
[fa58aa072570f8f246ecbe0e65deb46d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/dbfa0ee8f3804a6dbc5e8848942d0174.png
[a3b38c45506411e18bf6cf0769eb07c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/a2b83be97d6f4c44ae2cb8a7aa847757.png
[8f13333742029d07f82e8834387b631a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/0fde13eb593c4ee88e787c60b494794b.png
[87538ea91bfbb610f6c7d807d7661ece.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/0aa3764f83ba471f82ca539fee9d5567.png
[45cbb5fd43af1a15816fbbda747b850d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/0ec51427f4ba498c8ee0f3187bd33777.png
[20210519233121183.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/05/49db380b0a504f23ad4a88bb7807e170.png