Python 微博画像分析

怼烎@ 2022-06-09 06:21 230阅读 0赞

写这篇文章的思路来自于这样的一盘文章：《程序员的七夕应该这么过》。 [https://mp.weixin.qq.com/s/CF0rCG8r54AQIvVmBcqkpw][https_mp.weixin.qq.com_s_CF0rCG8r54AQIvVmBcqkpw]

在写这篇文章之前，我对Python的涉猎并不多，很多基础知识都是现学现用，中间也出现了很多问题，最终也都一一解决，也是颇为不易。

在看这篇文章前，我的MAC还只有系统自带的Python2.7环境，而这篇文章要求的运行环境是Python3.0以上，为此，我并没有在七夕，也就是昨天就鼓捣出来整个项目，而是用了一个七夕去安装Python3.0的环境，真的要手动滑稽一下，hhhhhh。

在MAC上安装Python 3.0的教程，可以查看我的前一篇博客 ： [MAC 下 Python3 环境安装][MAC _ Python3]

言归正传，进入正题。

首先介绍本人开发环境： 系统： MAC OS 10.12.5

Python版本： Python 3.6

Conda版本： Conda 4.3.25

今天，我要做的是一件什么事情呢？就是要对微博数据进行爬取，然后对数据进行清洗加工后进行分词处理，将处理后的数据交给词云工具，再配合科学计算工具和绘图工具绘制出图像出来。

这一系列的工作，涉及到的工具包包括： 网络请求包 Requests、中文分词处理 jieba  、 词云处理 wordcloud 、 图片处理库 Pillow、科学计算工具 Numpy、2D绘图库 Matplotlib。

因此，下一步，就是一一下载上面提到的库。

下载的方法通过 pip install 和 conda install 结合起来，主要原因在于conda 无法找到 jieba 、和wordcloud这两款对应的工具包，只可以通过pip install下载。我在  [MAC 下 Python3 环境安装][MAC _ Python3]  提到了如何为 conda 添加国内镜像源从而提高下载速度，在这里也提下如何添加 pip 国内镜像源来提高下载速度，附上相关链接，需要的自行查阅  [http://blog.csdn.net/lambert310/article/details/52412059][http_blog.csdn.net_lambert310_article_details_52412059]

在安装好相关工具之后，我们顺着《程序员的七夕应该这么过》的思路走。

首先，我们打开微博，搜索某某明星女神的微博，这里我们以李冰冰为例子来做分析，进入她的微博主页，分析浏览器的的发送请求过程。

![Center][]

刷新网页或者第一次请求网页，打开调试窗口，发现如下XHR请求，双击其中一条请求，我们可以查看这条请求的详细信息如下：

![Center 1][]

这里，我们首先分析请求链接： [https://m.weibo.cn/api/container/getIndex?uid=1192515960&luicode=10000011&lfid=100103type%3D3%26q%3D%E6%9D%8E%E5%86%B0%E5%86%B0&type=uid&value=1192515960&containerid=1076031192515960][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

通过这个链接可以提取出如下关键字：

[uid=1192515960][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

[luicode=10000011][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

[lfid=100103type%3D3%26q%3D%E6%9D%8E%E5%86%B0%E5%86%B0][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

[type=uid][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

[value=1192515960][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

[containerid=1076031192515960][https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]

且不管这些关键字的具体含义是什么，这些字段在接下来的爬取过程中将会用到。

再来分析请求的返回结果， 返回数据是一个JSON字典结构，total 是微博总条数，每一条具体的微博内容封装在 cards 数组中

![Center 2][]

分析完网页后，我们开始用 requests 模拟浏览器构造爬虫获取数据，因为这里获取用户的数据无需登录微博，所以我们不需要构造 cookie信息，只需要基本的请求头即可，具体需要哪些头信息也可以从浏览器中获取，首先构造必须要的请求参数，包括请求头和查询参数。这一部分内容，我们同样可以在同一个xhr请求中获得。

![Center 3][]

于是，我们可以构建如下headers:

headers = \{

"Host" : " [m.weibo.cn][] " ,

"Referer" : " [https://m.weibo.cn/u/1705822647][https_m.weibo.cn_u_1705822647] ” ,

"User-Agent" : "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Mobile           Safari/537.36" ,

params = \{  "uid" : "\{uid\}" ,

"luicode" : "20000174" ,

"featurecode" : "20000320" ,

"type" : "uid" ,

"value" : "1705822647" ,

"containerid" : "\{containerid\}" ,

"page" : "\{page\}” \}

在经过前文的这些爬取准备基础之后，就可以开始构建我们的简单爬虫系统了，代码来源来自于： [https://mp.weixin.qq.com/s/CF0rCG8r54AQIvVmBcqkpw][https_mp.weixin.qq.com_s_CF0rCG8r54AQIvVmBcqkpw]

通过返回的数据能查询到总微博条数 total，爬取数据直接利用 requests 提供的方法把 json 数据转换成 Python 字典对象，从中提取出所有的 text 字段的值并放到 blogs 列表中，提取文本之前进行简单过滤，去掉无用信息。顺便把数据写入文件，方便下次转换时不再重复爬取。

def  fetch\_data(uid= None , container\_id= None ):

"""

抓取数据，并保存到 CSV 文件中

:return:

"""

page = 0

total = 4754

blogs = \[\]

for  i in  range(0, total // 10):

params\['uid'\] = uid

params\['page'\] = str(page)

params\['containerid'\] = container\_id

res = requests.get(url, params=params, headers=headers)

cards = res.json().get( "cards" )

for  card in  cards:

\# 每条微博的正文内容

if  card.get( "card\_type" ) == 9:

text = card.get( "mblog" ).get( "text" )

text = clean\_html(text)

blogs.append(text)

page += 1

print ( " 抓取第 \{page\} 页，目前总共抓取了  \{count\}  条微博 " .format(page=page, count=len(blogs)))

with  codecs.open('weibo1.txt', 'w', encoding='utf-8') as  f:

f.write( "\\n" .join(blogs))

将爬取到的微博数据，保存在weibo1.txt文件里面，作为词元处理数据源。

下一步进行分词处理并构建词云。

爬虫了所有数据之后，先进行分词，这里用的是结巴分词，按照中文语境将句子进行分词处理，分词过程中过滤掉停止词，处理完之后找一张参照图，然后根据参照图通过词语拼装成图。

由于在MAC环境进行相关词云分析处理，wordcloud如果没有添加MAC环境下的中文字体库路径，将会出现中文乱码现象，因此，对原文的中文字体库路径做了更改，改为MAC环境下的字体库路径

def  generate\_image():

data = \[\]

jieba.analyse.set\_stop\_words( "./stopwords.txt” )

alice\_coloring = imread('./52f90c9a5131c.jpg', flatten=True)

\#\# 从背景图片生成颜色值

image\_colors = ImageColorGenerator(alice\_coloring)

with  codecs.open( "weibo1.txt" , 'r', encoding= "utf-8" ) as  f:

for  text in  f.readlines():

data.extend(jieba.analyse.extract\_tags(text, topK=20))

data = " " .join(data)

mask\_img = imread('./52f90c9a5131c.jpg', flatten=True)

wordcloud = WordCloud(

\#            font\_path='msyh.ttc’,

\#\#添加MAC路径的中文字体库宋体作为标准字体库

font\_path='/Library/Fonts/Songti.ttc',

background\_color='white',

mask=mask\_img

).generate(data)

plt.imshow(wordcloud.recolor(color\_func=image\_colors, random\_state=3),

interpolation= "bilinear" )

plt.axis('off')

plt.savefig('./heart2.jpg', dpi=1600)

至此，完成了从依赖库安装、Python微博数据采集、Python构建简单爬虫、Python分词处理并构建词云这一系列过程，完成效果如下：

![Center 4][]

在完成了《程序员的七夕应该这么过》这篇文章的主要思路之后，我本人对于最后的结果呈现效果并不是很满意，所以，进行了二次词云分解处理，思路来自于： [http://www.cnblogs.com/lyrichu/p/6151265.html][http_www.cnblogs.com_lyrichu_p_6151265.html]

最后的呈现结果如下所示：多了彩色效果好看多了。

![Center 5][]

最后，就是整体工作的总结了。在这篇文章中，介绍到的内容可以说是很多了，在很多内容上，我还只是处于知其然而不知其所以然的基础上，代码完整性也都是来自于《程序员的七夕应该这么过》。

不过对于Python小白的我，刚刚接触Python这个领域的世界，也被Python这个神奇的世界给迷住了。正所谓纸上得来终觉浅，绝知此事要躬行。我们看那诸多的技术博客，往往存在这样的两种人，一种人认为，哇，如此高大上，定是难以企及的物种；一种人则认为，不过如此，三两行代码而已，我何必动手，欣赏就好了。这样子，少了实战，一切都是镜花水月一般。  就比如我，若是没有经过这一天的实战折腾，又怎么会知道MAC 下Python3的安装，Conda的国内镜像源加速、wordcloud的中文乱码解决等等等，这些都是在实际开发中的经验。

所以啊，生命在于折腾啊。

不过，七夕都过了，我这要为谁做画像呢？？难过一秒钟。

[https_mp.weixin.qq.com_s_CF0rCG8r54AQIvVmBcqkpw]: https://mp.weixin.qq.com/s/CF0rCG8r54AQIvVmBcqkpw
[MAC _ Python3]: http://blog.csdn.net/zhitui2581/article/details/77679712
[http_blog.csdn.net_lambert310_article_details_52412059]: http://blog.csdn.net/lambert310/article/details/52412059
[Center]: /images/20220609/66ca20e7677647aeb517d613ad450c55.png
[Center 1]: /images/20220609/65ea204afdd9466b915774e15b3ab09e.png
[https_m.weibo.cn_api_container_getIndex_uid_1192515960_luicode_10000011_lfid_100103type_3D3_26q_3D_E6_9D_8E_E5_86_B0_E5_86_B0_type_uid_value_1192515960_containerid_1076031192515960]: https://m.weibo.cn/api/container/getIndex?uid=1192515960&luicode=10000011&lfid=100103type%3D3%26q%3D%E6%9D%8E%E5%86%B0%E5%86%B0&type=uid&value=1192515960&containerid=1076031192515960
[Center 2]: /images/20220609/13160e509eae4db78bf811ae7bbfba67.png
[Center 3]: /images/20220609/dcd6367d0c884a5da60c89f23df25ec8.png
[m.weibo.cn]: http://m.weibo.cn/
[https_m.weibo.cn_u_1705822647]: https://m.weibo.cn/u/1705822647
[Center 4]: /images/20220609/81a23c7a67af456daeeb4c5108eb69ee.png
[http_www.cnblogs.com_lyrichu_p_6151265.html]: http://www.cnblogs.com/lyrichu/p/6151265.html
[Center 5]: /images/20220609/a94e9f7887aa404dab645252bcf93225.png