基于Python实现的某宝服装类销售评论数据提取

Love The Way You Lie 2024-04-07 15:21 37阅读 0赞

--------------------

#### 1. 任务描述 ####

##### 1.1 要求 #####

> 针对平台中部分商品的用户评论数据，分别使用文本关键词提取方法以及主题模型，提取其中的用户关注点。
> 
> （1）关键词提取：对于所有数据，进行文本关键词提取，挖掘该品类整体  
> 上用户所关注的焦点。
> 
> （2）主题模型：面对浩如烟海的文档，把相似的文章聚合起来，并且提取  
> 描述聚合后主题的重要关键词，通过主题模型，挖掘在该品类中用户关注的几个  
> 主要话题及对应的话题内容。

##### 1.2 需求分析 #####

*  选取数据：服装品类 + 自爬数据
 *  关键词提取模型：Word2Vec + Kmeans
 *  主题模型选择：LDA模型

--------------------

#### 2. 数据爬取 ####

##### 2.1 运行环境 #####

> 软件：Pycharm2020（Python 3.9）、MySQL Workbench
> 
> 文件：data\_get.py、taobaocookie.py、create\_database.sql
> 
> 扩展包：selenium、pymysql …
> 
> 模拟浏览器版本：Chrome/92.0.4515.131

##### 2.2 爬取数据展示 #####

![在这里插入图片描述][3c2eda717f5f45c085fa84ebfdfdcaaa.png]

##### 2.3 一些修订 #####

*  data\_get.py里面的pymysql.escape\_string()方法，最新的版本需要 from pymysql.converters import escape\_string 来直接调用.
 *  taobaocookie.py里，getTaobaoCookie()里循环的browser.quit()需要去掉，否则只爬取一条webdriver就关闭了.

--------------------

#### 3. 关键词提取——Word2Vec + Kmeans ####

##### 3.1 运行环境 #####

> 软件：Pycharm2020（Python 3.9）
> 
> 文件：word\_break.py、get\_vector.py、train\_word2vec.py、get\_keyword.py
> 
> 扩展包：selenium、pymysql …
> 
> 模拟浏览器版本：Chrome/92.0.4515.131

##### 3.2 模块功能 #####

## word_break.py：去除停用词
    #  
    ## get_vector.py：jieba分词、去重等数据处理
    #  
    ## train_word2vec.py：训练Word2Vec模型，得到词向量
    #  
    ## get_keyword.py：进行Kmeans聚类，按照组内距离之和，得到Top3的关键词
    #

##### 3.3 结果展示 #####

*  去除停用词结果：  
    ![在这里插入图片描述][6695a4b4643c49bca218b4890c25d040.png]
 *  jieba分词、去重等数据处理结果：

![在这里插入图片描述][48b86e97527444189c30c7f85f532462.png]

*  Word2Vec模型参数设置：

model = Word2Vec(LineSentence(inp), window=5, vector_size=100, min_count=5, sg=1, hs=1, workers=25)

*  Word2Vec词向量部分展示：

![在这里插入图片描述][6a1dfc5ad00c41d3a0abecb31c059363.png]

*  Kmeans聚类中心 ：
    
        ['国潮', '不厚', '柔软', '很正', '包装', '没想到', '长度', '阳光', '适中']
 *  统计结果：

![在这里插入图片描述][376ff09c577240dba5f687aa8749c5a3.png]

*  排除掉英文数字及语气词汇，可以看出关键词主要排序为：
    
    > 阳光 > 国潮 > 长度 > 不厚 > 很正 > 包装 > 柔软 > 适中
 *  从评价关键词可以看出，消费者对服装商品主要的评价集中在衣服的款式、质量上，这与常理相符合。

--------------------

#### 4. 主题模型——LDA ####

##### 4.1 运行环境 #####

> 软件：Pycharm2020（Python 3.9）
> 
> 文件：lda.py
> 
> 扩展包：gensim.models.ldamodel

##### 4.2 模型结果 #####

*  数据使用第三部分中处理后的数据
 *  模型参数设置：
    
        dictionary = corpora.Dictionary(texts)
        corpus = [dictionary.doc2bow(text) for text in texts]
        
        lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20)
        # 将单个主题作为格式化字符串
        # 返回：主题的字符串表示，如'-0.340 *“类别”+ 0.298 *“$ M $”+ 0.183 *“代数”+ ...“。
        # topicno：主题ID，这里是10
        # topn: 将使用的主题中的单词数
        print(lda.print_topic(10, topn=5))
 *  模型输出结果：
    
        0.128*"好看" + 0.064*"衣服" + 0.045*"喜欢" + 0.032*"超级" + 0.028*"质量"
 *  与上面第三节的关键词结果不同，主题模型呈现的结果显得更加“浓缩”，能直接指出了评价的主题为“衣服”、“质量”。

--------------------

#### 5. 总结与思考 ####

##### 5.1 问题思考——应用场景 #####

*  对于“消费者评价关键词”的任务需求，可应用到商家服务方面，比如：给商品智能取名，在商品后缀上添加评价关键词，更容易吸引消费者；
 *  对于“评价主题”的任务，则可以用于平台智能筛选不相关评价，比如在数据中常常见到“这是一条凑字数的评价”类似的评论，可以通过每条评价与主题相关程度进行屏蔽等操作；

##### 5.2 不足与改进 #####

*  数据清洗效果不够理想：在清洗时只保留了中文，但后来发现符号、英文字母并不是都没有意义，比如 ‘ nice ’、‘ ！’ 等，都表达了消费者的评价；（这可能需要增加模型难度来改进）
 *  分词结果不好：本次作业是直接使用了中科院的中文分词，但在商品评价上直接使用有些欠妥，可能要考虑在此基础上进行一些更贴合场景的增删；

[3c2eda717f5f45c085fa84ebfdfdcaaa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/084bacfb276e4a7087bce5bb9b56cbb5.png
[6695a4b4643c49bca218b4890c25d040.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/385335149d1f470da0a1d02d2bbb2fe6.png
[48b86e97527444189c30c7f85f532462.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a1f8e2b00ace4b5880002e5016395922.png
[6a1dfc5ad00c41d3a0abecb31c059363.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/092f17718977430e8c4e0eedd09cf508.png
[376ff09c577240dba5f687aa8749c5a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f41cf5c50bb244adafd9b28db0784dbd.png