wordcloud词云可视化

系统管理员 2022-02-23 14:16 640阅读 0赞

**安装：**  
pip install wordcloud(有时会有VC++ 14缺失的问题)

**解决方案：**  
在github下载wordcloud的包（[https://github.com/amueller/word\_cloud/），][https_github.com_amueller_word_cloud] 解压缩后，在对应目录下用python [setup.py][] install安装。

**使用：**

import pandas as pd
    import jieba
    from langconv import * 					#汉字繁简体转换，需下载langconv.py和zh_wiki.py文件，并将其放在与代码同一目录下
    from tongyici import *					#引用自定义同义词字典，tongyici.py需与代码在同一目录下
    import re
    from collections import Counter			#collections模块提供了一些有用的集合类，Counter是一个简单的计数器
    #以上用于分词、以下用于词云可视化
    import matplotlib.pyplot as plt
    from wordcloud import WordCloud
    import imageio
    
    #分词
    # 转换繁体到简体
    def fan_to_jian(line):
        line = Converter('zh-hans').convert(line)
        line.encode('utf-8')
        return line
    
    # 添加自定义分词
    def add_word(list):
    	for i in list:
    		jieba.add_word(i)
    
    # 删除自定义分词
    def del_word(list):
    	for i in list:
    		jieba.del_word(i)
    
    # 用jieba对商品名称进行文本分析
    add_ci = ['3d max', 'altium designer', 'mac os', 'spring boot', 'android studio', 'deep learning ai', 'machine learning', 'visual c++', 'visual studio', 'cloud docker', 'atey ghalian', 'john park']
    del_ci = ['视频教程', '自学教材']
    add_word(add_ci)
    del_word(del_ci)						#或jieba.add_word('视频教程', 0)动态修改词典，使之分成视频和教程2个词
    jieba.re_han_default = re.compile('(.+)', re.U)	#用于解决中间带空格或其他特殊符号的单词分成多个词的问题
    jieba.load_userdict('c:/ProgramData/Anaconda3/Lib/site-packages/jieba/mydict.txt')						#导入自定义字典
    file = pd.read_excel(r'c:\users\administrator\desktop\商品信息v2.0版.xlsx')  							#读取本地文件
    title = list(file['商品名称'])			#商品名称转化成list
    title_s = []							#商品名称分词list
    for line in title:
    	text = fan_to_jian(line).lower()#将繁体字转换成简体字并将大写字母转换成小写
    	title_cut = jieba.lcut(text)		#分词成list，lcut()函数返回list
    	#替换同义词
    	new_cut = []						#替换同义词后的新数据
    	for fenci in title_cut:				#替换同义词
    		if fenci in dian:				#判断是否在字典中
    			val = dian[fenci]			#获取同义词的统一词
    			new_cut.append(val)
    		else:
    			new_cut.append(fenci)
    	title_s.append(new_cut)
    # print(title_s)
    #导入停用词
    stopwords = ['教程']						#停用词list，可将停用词表中没有的先加入进去
    for line in open(r'e:/Python/mypy/stopwords/中英文.txt', 'r+', encoding='utf-8'):
    	stopwords.append(line.strip())#将停用词字典内容写入停用词list中备用
    #剔除商品名称分词中的停用词
    title_clear = []						#剔除停用词后的商品名称分词
    for line in title_s:
    	line_clear = []						#每个商品剔除停用词后的商品名称分词
    	for word in line:
    		if word not in stopwords and word.strip():	#判断分词不在停用词字典中，并且不为空
    			line_clear.append(word.strip())	#去除词两侧的空格
    	title_clear.append(line_clear)
    # print(title_clear)
    #去除每个商品名称中的重复分词，提高准确率
    title_clear2 = []
    for line in title_clear:
    	line_clear2 = []
    	for word in line:
    		if word not in line_clear2:
    			line_clear2.append(word.strip())
    	title_clear2.append(line_clear2)
    # print(title_clear2)
    # 去除标点符号后将所有商品名称分词放入同一个list中
    allwords = []
    r = "[^0-9A-Za-z\u4e00-\u9fa5]"			#非数字、字母和汉字
    for line in title_clear2:
    	for word in line:
    		ci = re.sub(r, '', word).strip()		#去除标点符号
    		if ci:							#ci若为空则原word为标点符号，如果ci不为空，则进行下步
    			allwords.append(ci)	
    # print(allwords)
    #把allwords列表转为DataFrame数据，类似表格
    df_allwords = pd.DataFrame({'allwords':allwords})	#前面一个allwords为columns列的名称
    # print(df_allwords)
    #对过滤去重的词汇进行分类汇总
    #value_counts()的作用是统计表格某列有多少不同值，并计算每个不同值在该列中有多少重复值，需要指定对哪一列或行使用。
    #reset_index()的作用是重新设置DataFrame的连续行索引index。
    word_count = df_allwords.allwords.value_counts().reset_index()
    # print(word_count)
    word_count.columns = ['word', 'count']	#重命名列的名称
    print(word_count)
    # 获取所有分词及出现次数(按出现次数降序排列)，需引用from collections import Counter
    c = Counter(allwords).most_common()		#most_common(200)获取出现频率前200的分词及出现次数
    # print(c)
    
    #词云可视化
    pic = imageio.imread('white.bmp')		#读取图片，作为词云形状，white.bmp透明背景图
    stopwords = set('')						#设置停用词，适用于停用词较少时
    stopwords.update(['教程'])				#添加新停用词
    wc = WordCloud(font_path='ygyxsziti2.0.ttf', max_words=2000, stopwords='教程', background_color='black', mask=pic, max_font_size=60)	#WordCloud()用于生成和绘制词云对象，background_color默认为黑色，此处设置为白色，stopwords使用jieba分词器时此处似乎无效，原因应该是下面的word_count中没有去除上面添加的停用词。
    wc2 = wc.fit_words({x[0]:x[1] for x in word_count.head(200).values})	#fit_words()根据分词和词频创建一个词云,head(100)取前100个词进行可视化
    plt.imshow(wc2, interpolation='bilinear')#imshow()在轴上显示图像，interpolation='bilinear'图优化，bilinear双线性
    plt.axis('off')							#axis()获取或设置轴属性，off为关闭轴线及标签(去边框)
    # plt.savefig('e:/Python/mypy/数据分析/词云.jpg', dpi=200)	#savefig()保存
    wc2.to_file('e:/Python/mypy/数据分析/词云.jpg') 			#to_file()保存
    plt.show()								#显示图像

**参数说明：**

font_path : string 							#字体路径，如：font_path = '黑体.ttf'，不指定字体中文会乱码，繁体字需使用对应字体（下载：正体(繁)中文点阵字Zfull-BIG5.ttf，使用时文件名必须去掉中文部分，且会将简体字也转化成繁体字输出）
    width : int (default=400) 					#输出的画布宽度，默认为400像素
    height : int (default=200) 					#输出的画布高度，默认为200像素
    prefer_horizontal : float (default=0.90) 	#词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）
    mask : nd-array or None (default=None) 		#如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。
    除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imageio.imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存。
    scale : float (default=1) 					#按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。
    min_font_size : int (default=4) 			#显示的最小的字体大小
    font_step : int (default=1) 				#字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。
    max_words : number (default=200) 			#要显示的词的最大个数
    stopwords : set of strings or None 			#设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS
    background_color : color value (default=”black”) #背景颜色，如background_color='white',背景颜色为白色。
    max_font_size : int or None (default=None) 	#显示的最大的字体大小
    mode : string (default=”RGB”) 				#当参数为“RGBA”并且background_color不为空时，背景为透明。
    relative_scaling : float (default=.5) 		#词频和字体大小的关联性
    color_func : callable, default=None 		#生成新颜色的函数，如果为空，则使用 self.color_func
    regexp : string or None (optional) 			#使用正则表达式分隔输入的文本
    collocations : bool, default=True 			#是否包括两个词的搭配
    colormap : string or matplotlib colormap, default=”viridis” #给每个单词随机分配颜色，若指定color_func，则忽略该方法。
    random_state : int or None  				#为每个词返回一个PIL颜色，设置有多少种随机生成状态，即有多少种配色方案
    margin：int (default=2)  					#设置页面边距
    ranks_only：default=None  					#是否只用词频排序而不是实际词频统计值（不确定是否是此作用）
    normalize_plurals：bool, default=True  		#移除单词末尾的's'
    contour_width： float (default=0)  			#如果mask(蒙版、遮罩)不是None且contour_width >0，则绘制蒙版轮廓。
    contour_color：color value (default="black")#蒙版轮廓的颜色。
    repeat：bool, default=False  				#是否重复单词和短语，直到达到max_words或min_font_size。
    fit_words(frequencies) 						#根据词频生成词云【frequencies，为字典类型】
    generate(text) 								#根据文本生成词云
    generate_from_frequencies(frequencies[, ...]) #根据词频生成词云
    generate_from_text(text) 					#根据文本生成词云
    process_text(text) 							#将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
    recolor([random_state, color_func, colormap])#对现有输出重新着色。重新上色会比重新生成整个词云快很多。
    to_array() 									#转化为 numpy array
    to_file(filename) 							#输出到文件

**问题：**  
**1、图片没有正常显示：**  
a、用plt.savefig(“此处是生成图片的路径”)来存储生成的云词图：  
将plt.savefig放在plt.show之后，结果只生成了空白图。实际上在plt.show() 后已经创建了一个新的空白图片（坐标轴），这时再用plt.savefig() 就会保存这个新生成的空白图片。所以，只要把plt.savefig放在plt.show之前即可解决这个问题。  
代码如下：plt.savefig(‘e:/Python/mypy/数据分析/词云.jpg’, dpi=200)  
b、另一种输出图像的方式 .to\_file：  
在WordCloud中，自带.to\_file可以将云词图输出到文件。  
具体方法：将代码中plt.savefig一行替换为my.to\_file(“e:/Python/mypy/数据分析/词云.jpg”)即可。  
c、两种输出方式的区别：

*  plt.savefig默认尺寸和终端中显示的缩略图差不多大（432×288），可通过dpi调节精度改善清晰度。
 *  .to\_file，则输出的是每个字都精确显示的完整云词图，非常清晰，放大后可以看到连最小的字都是清晰完整地显示，当然默认尺寸也很大。  
    为方便对比，可见本文后面“WordCloud参数的调节”这部分里scale=2（使用plt.savefig输出，dpi=200）、scale=32（使用plt.savefig输出，dpi=200）、scale=2（使用.to\_file输出）的3个云词图。

**2、生成图像清晰度的调节（此部分为转载）：**  
a、图片大小和精度的影响：  
用plt.savefig默认生成的图感觉不是很清晰，尺寸不够大，所以在plt.savefig中加上参数dpi调整精度。当然，同样一张图，精度越高，自然尺寸也是越大的。不过，精度调整成多少合适要看情况而定。虽然理论上精度越大就越清晰，但是在遮罩图、词数量等因素确定的情况下，有时候更大的精度只是把图的尺寸放大，但肉眼可见的清晰程度并不会真的就提高。  
如果图太小太密集，那么可能是默认精度的局限导致不清晰。需要调整精度参数dpi放大图片。  
但如果图片足够大，字看起来也不小，但是仍然不清晰，或者布局不自然，那么有可能是云词图生成时本身的参数设置问题。可见下面的描述。  
b、WordCloud参数的调节：

my=WordCloud(background_color="white",max_words=2000,mask=coloring,max_font_size=60,random_state=42,scale=8,font_path="C:\Windows\Fonts\msyhbd.ttf").generate(word_space_split)  	#这里word_space_split是前面生成的以空格分割的需要生成云词的词库字符串（str）

这里简要讲下几个影响图像清晰问题的WordCloud参数：  
mask：遮罩图，字的大小布局和颜色都会依据遮罩图生成。理论上对字大小和清晰程度的影响不大，但是遮罩图色和背景色background\_color如果易混淆，则可能是一个导致看起来不清晰的因素；另外遮罩图自身各个颜色之间的对比不强烈，也可能使图看起来层次感不够。比如，一些图明度比较高，再加上背景白色，有可能导致字色太浅（背景色background\_color又是白色）于是看起来不够清晰。  
background\_color：背景色，默认黑色。其实这个本来也不怎么影响清晰度，但是，就像之前在mask中提到的，如果遮罩图像颜色过浅、背景设置白色，可能导致字看起来不清晰。实际上，对一个浅色遮罩图分别用白、黑两种背景色后发现，黑色背景的强烈对比之下会有若干很浅也很小的词浮现出来，而之前因背景色、字色过于相近而几乎无法用肉眼看出这些词。  
mode：默认“RGB”。根据说明文档，如果想设置透明底色的云词图，可以设置background\_color=None, mode=“RGBA”，但是！！！实际中尝试设置透明背景色并没有成功过！ 当选取的遮罩图是白色底时，如果background\_color设置为"white"或"black"时，生成的云词确实是对应的“白色”“黑色”；但按照上述参数设置透明色时，结果出来依然是白色。当选取的遮罩图是透明底时，不管background\_color设置为"white"或"black"，还是None加上mode=“RGBA”，结果都是把背景部分当做黑色图块，自动匹配黑色的字！也就是并没有实现透明底的云词（用“.to\_file”输出即可实现透明底）。  
底图1（白底，640×435）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70]

底图2（透明底，300×300）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 1]

底图1与底图2生成云词图效果对比，除background\_color和mode参数以外其它参数不变：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 2]

注：1. 两个底图尺寸也有点区别。生成的图片是用plt.savefig（参数dpi=200）保存，也可以看出生成图在布局上有差异。2. 本文中，其它云词图实例中，均是使用“底图1”（本身是白色底）这个图。  
max\_font\_size：最大字号。图的生成会依据最大字号等因素自动判断词的布局。经测试，哪怕同一个图像，只要图本身尺寸不一样（比如把一个300×300的图拉大到600×600再去当遮罩），那么同样的字号也会有不同的效果。原理是字号决定了字的尺寸，而图的尺寸变了以后，最大字相对于图的尺寸比例自然就变了。所以，需要根据期望显示的效果，调整最大字号参数值。  
min\_font\_size：最小字号。不设置的情况下，默认是4。设置比4大的字号，例如8、10，结果原本小于设定值且大于4号的词都不显示了，其它内容和未设置该值时都一样。  
relative\_scaling：表示词频和云词图中字大小的关系参数，默认0.5。为0时，表示只考虑词排序，而不考虑词频数；为1时，表示两倍词频的词也会用两倍字号显示。本文中的案例，均用默认值，未特别设置该参数。  
scale：当云词图很大时，加大该值会比使用更大的图更快，但值越高也会越慢（计算更复杂）。默认值是1。实际测试中，更大的值，确实输出图像看起来更精细（较小较浅的词会颜色更重，也感觉清楚，大的词差异不明显）。经测试，在词没有很多（这里len(word\_space\_split)=6310）且图没有很大的情况下，词不变，图不变，则scale越大，运行速度越慢。实际上，案例中取“32”时已经比“2”慢了很多秒，这个时间差可以体会到。另外经测试发现，其它参数完全相同情况下，scale越大，图片占空间越小。这里scale分别取“2”“10”“32”时，获得的图片大小分别为207K、110K、75.8K。（这里图用plt.savefig输出，dpi=200，实际输出尺寸为1200×800。）  
下面选取底图1时scale分别取“2”“10”“32”的缩略效果图：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 3]

是不是没看出什么区别？那么下面放下“2”“32”对应的云词图本身。  
scale=2的云词图如下（使用plt.savefig输出，dpi=200）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 4]

scale=32的云词图如下（使用plt.savefig输出，dpi=200）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 5]

scale=2的云词图如下（使用.to\_file输出）：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 6]

注：可以注意上面3个图中，右上方“唯有”字样的右上角“如同”字样（较小字）的显示差异，进行对比。  
random\_state：不同的值会让字图的分布不一样。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 7]

注：这里的云词图案例中，词库里“1f60a”之类的字符没有去掉，这些本来是代表某些emoji的。个人觉得这不算乱码，所以留着了。

[https_github.com_amueller_word_cloud]: https://github.com/amueller/word_cloud/%EF%BC%89%EF%BC%8C
[setup.py]: http://setup.py
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70]: /images/20220223/306506a313ec4e7fb0614d88c5e564bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 1]: /images/20220223/f1bc8faa114b4dd8a39a47617678ce49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 2]: /images/20220223/bb78da09a9a84eeeaef936a2f5db24ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 3]: /images/20220223/f752b0d003764cc693310a0fc93659fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 4]: /images/20220223/4890f7d3f33b465dade2b3ee62d1fa65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 5]: /images/20220223/417e034515ee4f7191706904fe2d8815.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 6]: /images/20220223/71cdf592b2eb49138677c13f1c2b08e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4ODgyMzI3_size_16_color_FFFFFF_t_70 7]: /images/20220223/8143050065c64e24818f4f49a1ad9aa4.png