python爬取携程旅游评价信息词云图分析

短命女 2023-03-03 05:49 131阅读 0赞

## python爬取携程旅游评价信息词云图分析 ##

## 前言 ##

前面咱们已经分析过如何爬取携程旅游的相关信息，如果没有看过的，可以先跳转看一下前面的那篇博客：[python 爬虫 一键爬取携程旅游团数据][python _]

这一篇呢，咱们主要使用jieba和wordcloud这两个包进行评价词云图分析。jieba是一个中文分词的工具包，wordcloud是专门用来画词云图的。

先来看看效果图吧

![image-20200730094524334][]

从图中我们也能够看到，大家评价大多数是不错、方便这种积极的态度。对整体旅行的评价，通过这张图我们还是能够有很清楚的认识的。接下来，我将详细的讲一下源代码。

## 源代码分析 ##

这次代码的讲解是基于上一篇博客，建议先浏览上一篇博客。

上次我们能够将旅游团的游客的评价爬取出来，这次，我们先将评价信息输出到文本中。

### 1. 评价输出文本 ###

def  mainfun():
        comment_all = []
        traveldestination = ['重庆']#这里是添加旅游地点
        for i in range(len(traveldestination)):
            listdata = test1(traveldestination[i])
            print("地点:",traveldestination[i],end='\n')
            for data in listdata:
                print(data[0])
                comment_all.append(test2(data[1]))
        with open('comments.txt',encoding='utf-8',mode='w') as f:
            for comment in comment_all:
                for comment_data in comment:
                    f.write(comment_data+'\n')

此方法在原有基础上，将评价信息首先存储到list列表中，然后通过for循环输出到txt文件中。

同时，test2()方法我们也做了两处地方的修改：

![image-20200730095530756][]

### 2. jieba分词 ###

def splitword():
        with open('comments.txt',encoding='utf-8',mode='r') as f:
            listdata = f.readlines()
        commentdata = []
        for delword in ['我们','酒店','携程','就是','自己']:
            jieba.del_word(delword)
        for data in listdata:
            commentdata.append(' '.join(jieba.cut(data,cut_all=False)))
        dataall = ' '.join(commentdata)
        return dataall

我们首先看一下txt文本中的数据形式：

![image-20200730095704592][]

此方法的作用是对这些长句子进行**分词**，以此来分析关键词。

1.  通过jieba.del\_word()方法，可以去掉一些没有意义的词语，这些词语出现频率高，但是对我们没有任何信息价值。
2.  jieba.cut（）参数1 是数据文本，类型需要时str。参数2是cut\_all，为True是，为全模式，为False时，为精确模式。

[jieba 常用方法][jieba]

### 3. wordcloud词云图 ###

def word_cloud(dataall):
        maskpng = np.array(Image.open('mask.png'))
        WordClouds = WordCloud(background_color='white',
                               mask=maskpng,#遮罩图
                               font_path='font/msyh.ttf',#字体
                               max_words=50,#最大词数
                               random_state=50,#随机种子
                               scale=1.5 #放大比例
                               )
        WordClouds.generate(dataall)
        plt.imshow(WordClouds)
        plt.axis('off')
        plt.show()

1.  首先我们创建一个WordCloud对象，然后设置相应的参数
2.  使用WordClouds.generate(dataall) 生成词云图
3.  plt.imshow(WordClouds)显示词云图
4.  不显示坐标轴
5.  由于我是在pycharm写的代码，所以需要写上plt.show() 才能够显示，jupyter notebook 上不用添加这个语句。

字体下载连接：[微软雅黑字体下载][Link 1]

对象方法详细参数说明：[详细参数说明][Link 2]

## 总结 ##

词云图通过字体的大小来表示词语出现的频率，使我们能够更加直观的看到文本中的关键信息。同时这两个包还有很多其他的用法，大家可以多去尝试一下，在这里我们只是举了个非常简单的例子供大家参考。

最后附上jieba和wordcloud两个包的github地址

*  [wordcloud][]  
    常简单的例子供大家参考。

[python _]: https://blog.csdn.net/lzx159951/article/details/106476263
[image-20200730094524334]: /images/20230208/ebe4bc3f232b4e3491b8ad5af8a10bae.png
[image-20200730095530756]: /images/20230208/08dc944baf844f96b922a0b7f4fb412e.png
[image-20200730095704592]: /images/20230208/9a6263b08f3b4c9f991585b7799284db.png
[jieba]: https://github.com/fxsjy/jieba
[Link 1]: http://www.17ziti.com/weiruan/8203.html#link
[Link 2]: https://www.cnblogs.com/delav/articles/7837975.html
[wordcloud]: https://github.com/amueller/word_cloud