使用Python wordCloud 做中文分词和绘制词云图片

待我称王封你为后i 2023-06-13 09:45 17阅读 0赞

**结果**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz_size_16_color_FFFFFF_t_70 1]

###### 主要的步骤： ######

1.数据获取：用爬虫或者直接去相关网站上复制文本内容，我是直接去人民网上随便复制了一篇文章保存到本地的  
2.数据筛选：对中文的标点符号，特殊字符等过滤  
3.数据呈现：将分割好的词写到自己想要的图片轮廓中

###### 前提准备 ######

1.安装处理词图的模块 wordcloud  
　　pip install wordcloud  
2.安装将文本序列按完整的意思切分成一个一个词的模块 jieba  
　　pip install jieba  
3.安装图像处理的模块 Pillow，读取图片需要(from PIL import Image)  
　　pip install Pillow  
4.安装对矩阵及数组计算的模块numpy  
　　pip install numpy  
5.到网上找一张自己喜欢的图片作为轮廓图  
6.到网上下载自己喜欢的字体文件(tff文件)

##### 过程 #####

**1.** 读取事先保存在本地的txt文件，并将换行和空格去掉

def open_file(self, path):
         with open(path, 'r', encoding='gbk') as f:
             all_data = f.read().replace('\n', '').replace(' ', '')
         return all_data

**2.** 使用 **jieba** 模块对得到的文本进行词义切割（我这里以逗号隔开了），得到一个一个的词  
比如：

import jieba
    
    def open_file(path):
        with open(path, 'r', encoding='gbk') as f:
            all_data = f.read().replace('\n', '').replace(' ', '')
        return all_data
    all_data = open_file('test.txt')
    print(all_data)
    # 日前，在中关村国际前沿科技成果展上，参观者与服务型机器人互动。　　人民视觉在无人便利店购物，从进店、选购到支付，人脸识别技术全程支撑着实现便捷的服务；
    
    result = jieba.cut(all_data)
    print("切分结果: "+",".join(result))
    # 切分结果: 日前,，,在,中关村,国际,前沿,科技,成果展,上,，,参观者,与,服务型,机器人,互动,。,　,　,人民,视觉,在,无人,便利店,购物,，,从,进店,、,选购,到,支付,，,人脸识别,技术,全程,支撑,着,实现,便捷,的,服务,；

**3.** 然后剔除一些标点符号和单个字的文本

mytext_list = list()
    l = ['，', '。', '！', '？', '：', '、', '；', '“', '”', ' ']
    
    for data in result:
        if data not in l and len(data) > 1 and data:
            mytext_list.append(data)
    # ['日前', '中关村', '国际', '前沿', '科技', '成果展', '参观者', '服务型', '机器人', '互动', '人民', '视觉', '无人', '便利店', '购物', '进店', '选购', '支付', '人脸识别', '技术', '全程', '支撑', '实现', '便捷', '服务',

**4.** 将词传给画图的函数

def write_to_png(self, data):
          wc = WordCloud(
              background_color="white",  # 背景颜色
              max_words=300,  # 显示最大词数
              font_path="./fanxinshu.TTF",  # 使用中文字体包
              scale=28,
              mask=self.cloud_mask,
              min_font_size=15,
              max_font_size=50,
              # height=600,
              # width=400 # 图幅宽度
          ).generate(data)
          wc.to_file('my_word.png')
    
    write_to_png(",".join(mytext_list))

##### WordCloud 的参数说明 #####

**font\_path :** string \#字体路径，需要展现什么字体就把该字体路径+后缀名写上，如：font\_path = ‘黑体.ttf’  
**width :** int (default=400) \#输出的画布宽度，默认为400像素  
**height :** int (default=200) \#输出的画布高度，默认为200像素  
**prefer\_horizontal :** float (default=0.90) \#词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）  
**mask :** nd-array or None (default=None) \#如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（\#FFFFFF）的部分将不会绘制， 其余部分会用于绘制词云。如：bg\_pic = imread(‘读取一张图片.png’)，背景图片的**画布一定要设置为白色（\#FFFFFF）**，然后显示的形状为不是白色的其他颜色。 可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。一般为**mask=np.array(Image.open(‘xxx.jpg’))**。其中**from PIL import Image**  
**scale :** float (default=1) \#按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍  
**min\_font\_size :** int (default=4) \#显示的最小的字体大小  
**font\_step :** int (default=1) \#字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差  
**max\_words :** number (default=200) \#要显示的词的最大个数  
**stopwords :** set of strings or None \#设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS  
**background\_color :** color value (default=”black”) \#背景颜色，如background\_color=‘white’,背景颜色为白色  
**max\_font\_size :** int or None (default=None) \#显示的最大的字体大小  
**mode :** string (default=”RGB”) \#当参数为“RGBA”并且background\_color不为空时，背景为透明  
**relative\_scaling :** float (default=.5) \#词频和字体大小的关联性  
**color\_func :** callable, default=None \#生成新颜色的函数，如果为空，则使用 self.color\_func  
**regexp :** string or None (optional) \#使用正则表达式分隔输入的文本  
**collocations :** bool, default=True \#是否包括两个词的搭配  
**colormap :** string or matplotlib colormap, default=”viridis” \#给每个单词随机分配颜色，若指定color\_func，则忽略该方法  
**random\_state :** int or None \#为每个单词返回一个PIL颜色

\#其他部分函数  
fit\_words(frequencies) \#根据词频生成词云  
generate(text) \#根据文本生成词云  
generate\_from\_frequencies(frequencies\[, …\]) \#根据词频生成词云  
generate\_from\_text(text) \#根据文本生成词云  
process\_text(text) \#将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit\_words(frequencies) ）  
recolor(\[random\_state, color\_func, colormap\]) \#对现有输出重新着色。重新上色会比重新生成整个词云快很多  
to\_array() \#转化为 numpy array  
to\_file(filename) \#输出到文件

##### 完整例子 #####

import numpy as np
    import matplotlib.pyplot as plt
    from PIL import Image
    from wordcloud import WordCloud, ImageColorGenerator
    import jieba
    import os, json
    
    dir_path = os.path.dirname(__file__)
    
    
    class WORDTest(object):
        def __init__(self, png_name, text_name):
            self.png_path = os.path.join(dir_path, png_name)
            self.text_path = os.path.join(dir_path, text_name)
            self.pun = ['，', '。', '！', '？', '：', '、', '；', '“', '”', ' ']
            self.cloud_mask = np.array(Image.open(self.png_path))
    
        def open_file(self, path):
            with open(path, 'r', encoding='gbk') as f:
                all_data = f.read().replace('\n', '').replace(' ', '')
            return all_data
    
        def write_to_png(self, data):
            wc = WordCloud(
                background_color="white",  # 背景颜色
                max_words=300,  # 显示最大词数
                font_path="./fanxinshu.TTF",  # 使用中文字体包
                scale=28,
                mask=self.cloud_mask,
                min_font_size=15,
                max_font_size=50,
                # height=600,
                # width=400 # 图幅宽度
            ).generate(data)
            wc.to_file('my_word.png')
    
            # plt.figure()
            # plt.imshow(wc, interpolation="bilinear")
            # plt.axis("off")
            # plt.show()
    
        def main(self):
            mytext_list = list()
            # text = self.open_file(path=self.text_path)
            text = self.open_file(path=self.text_path)
            text = jieba.cut(text)
    
            for data in text:
                # print(data)
                if data not in self.pun and len(data) > 1 and data:
                    mytext_list.append(data)
            # print(" ".join(mytext_list))
    
            self.write_to_png(",".join(mytext_list[0:300]))
            # print(self.cloud_mask)
    
    
    if __name__ == "__main__":
        png_name = '3.png'
        text_name = 'test.txt'
    
        w = WORDTest(png_name=png_name, text_name=text_name)
        w.main()

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191115224306977.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191115214447954.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTYxODMz,size_16,color_FFFFFF,t_70