手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理

阳光穿透心脏的1/2处 2022-09-07 14:42 13阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

白头搔更短，浑欲不胜簪。

## 大家好，我是Python进阶者。 ##

## 一、前言 ##

大家好，我是Python进阶者，上个礼拜的时候，我的Python交流群里有个名叫程序的大佬，头像是绿色菜狗的那位，在Python交流群里边的人应该都知道我说的是哪个大佬了，他提供了一份初始淘宝数据，数据乍看上去非常杂乱无章，但是经过小小明大佬的神化处理之后，一秒就变清晰了，真是太神了，然后就有了后续的数据分词处理和可视化等内容了，可能群里的人平时工作太忙，没有来得及看群消息，作为热心的群主，这里给大家整理成一篇文章，感兴趣的小伙伴，可以去实操一下，还是可以学到很多东西的。言归正传，一起来学习下今天的数据分析内容吧。

二、原始数据预处理

1、原始数据

在未经过处理之前的数据，长这样，大家可以看看，全部存储在一个单元格里边了，看得十分的让人难受。如下图所示。

![2fb1c3571dc700f4c09e602536898d1c.png][]

按照常规来说，针对上面的数据，我们肯定会选择Excel里边的数据分列进行处理，然后依次的去根据空格、冒号去分割，这样可以得到一份较为清晰的数据表，诚然，这种方法确实可行，但是小小明大佬另辟蹊径，给大家用Python中的正则表达式来处理这个数据，处理方法如下。

2、原始数据预处理

小小明大佬直接使用正则表达式re模块和pandas模块进行处理，方法可谓巧妙，一击即中，数据处理代码如下。

import re
    import pandas as pd
    result = []
    with open(r"淘宝数据.csv") as f:
        for line in f:
            row = dict(re.findall("([^：\t]+)：([^：\t]+)", line))
            if row:
                result.append(row)
    df = pd.DataFrame(result)
    df.to_excel('new_data.xlsx', encoding='utf-8')
    print(df)

之后我们可以看到效果图，如下图所示，这下是不是感觉到清爽了很多呢？

![fff78b4d605abc3904b11d870eb5c09f.png][]

至此，我们对原始的数据进行了预处理，但是这还不够，我们今天主要的目标是对上面数据中的两列：配料表和保质期进行数据分析，接下来继续我们的数据处理和分析。

## 三、对配料表和保质期列进行处理 ##

一开始的时候，程序大佬对配料表和保质期这两列的数据进行处理，但是来回得到的分词中总有一些特殊字符，如下图所示，我们可以看到这些字符里边有%、顿号、空格等内容。

![5222d9661023bb0865caf482e91656f0.png][]

我们都知道，这些是我们不需要的字符，当时我们在群里讨论的时候，我们就想到使用停用词去针对这些扰人的字符进行处理，代码如下。

# 创建停用词list
    def stopwordslist(filepath):
        stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]
        return stopwords
    
    
    
    
    # 对句子进行分词
    def seg_sentence(sentence):
        sentence_seged = jieba.cut(sentence.strip())
        stopwords = stopwordslist('stop_word.txt')  # 这里加载停用词的路径
        outstr = ''
        for word in sentence_seged:
            if word not in stopwords:
                if word != '\t':
                    outstr += word
                    outstr += " "
        return outstr

其中stop\_word.txt是小编之前在网上找到的一个存放一些常用特殊字符的txt文件，这个文件内容可以看看下图。

![d32cfa796f7ef7c77b8f1295fc9aed2a.png][]

如上图所示，大概有1894个词左右，其实在做词频分析的时候，使用停用词去除特殊字符是经常会用到的，感兴趣的小伙伴可以收藏下，也许后面你会用到呢？代码和数据我统一放到文末了，记得去取就行。经过这一轮的数据处理之后，我们得到的数据就基本上没有太多杂乱的字符了，如下图所示。

![efd399a4f3cf14bd3f28763b7fc21124.png][]

得到这些数据之后，接下来我们需要对这些词语做一些词频统计，并且对其进行可视化。如果还有想法的话，也可以直接套用词云模板，生成漂亮的词云图，也未尝不可。

## 四、词频统计 ##

关于词频统计这块，小编这里介绍两种方法，两个代码都是可以用的，条条大路通罗马，一起来看看吧！

### 方法一：常规处理 ###

这里使用的是常规处理的方法，代码亲测可用，只需要将代码中的1.txt进行替换成你自己的那个需要分词统计的文档即可，然后系统会自动给你生成一个Excel表格和一个TXT文件，内容都是一样的，只不过一个是表格，一个是文本。

#!/usr/bin/env python3
    # -*- coding:utf-8 -*-
    
    
    import sys
    import jieba
    import jieba.analyse
    import xlwt  # 写入Excel表的库
    
    
    # reload(sys)
    # sys.setdefaultencoding('utf-8')
    
    
    if __name__ == "__main__":
    
    
        wbk = xlwt.Workbook(encoding='ascii')
        sheet = wbk.add_sheet("wordCount")  # Excel单元格名字
        word_lst = []
        key_list = []
        for line in open('1.txt', encoding='utf-8'):  # 1.txt是需要分词统计的文档
    
    
            item = line.strip('\n\r').split('\t')  # 制表格切分
            # print item
            tags = jieba.analyse.extract_tags(item[0])  # jieba分词
            for t in tags:
                word_lst.append(t)
    
    
        word_dict = {}
        with open("wordCount_all_lyrics.txt", 'w') as wf2:  # 打开文件
    
    
            for item in word_lst:
                if item not in word_dict:  # 统计数量
                    word_dict[item] = 1
                else:
                    word_dict[item] += 1
    
    
            orderList = list(word_dict.values())
            orderList.sort(reverse=True)
            # print orderList
            for i in range(len(orderList)):
                for key in word_dict:
                    if word_dict[key] == orderList[i]:
                        wf2.write(key + ' ' + str(word_dict[key]) + '\n')  # 写入txt文档
                        key_list.append(key)
                        word_dict[key] = 0
    
    
        for i in range(len(key_list)):
            sheet.write(i, 1, label=orderList[i])
            sheet.write(i, 0, label=key_list[i])
        wbk.save('wordCount_all_lyrics.xls')  # 保存为 wordCount.xls文件

### 方法二：使用Pandas优化处理 ###

这里使用Pandas方法进行处理，代码如下，小编也是亲测有效，小伙伴们也可以去尝试下。

def get_data(df):
        # 将食品添加剂这一列空的数据设置为无
        # print(df)
        df.loc[:,'食品添加剂'] = df['食品添加剂'].fillna('无')
        df.loc[:,'保质期'] = df['保质期'].fillna('无')
        df.loc[:, '配料表'] = df['配料表'].fillna('无')
    
    
        #  分词并扩展提取
        names = df.配料表.apply(jieba.lcut).explode()
        #  过滤长度小于等于1的词并去重
        df1 = names[names.apply(len) > 1].value_counts()
    
    
        with pd.ExcelWriter("taobao.xlsx") as writer:
            df1.to_excel(writer, sheet_name='配料')
    
    
        df2 = pd.read_excel('taobao.xlsx', header=None, skiprows=1, names=['column1', 'column2'])
        print(df2)

上面两个代码都是可以用的，最后得到的表格数据，如下图所示。

![7cf6cc2145f33e9989501e0a1139030c.png][]

从上图我们可以看到配料表里边的配料占比详情，有了上述的数据之后，接下来我们就可以对其进行可视化操作了。关于可视化的内容，小编也给大家已经准备好了，等待下一篇原创文章，给大家输出，敬请期待。

![3337feb4f393e667d4c138f1748e6190.png][]

## 五、总结 ##

大家好，我是Python进阶者。本文写到这里，基本上就告一段落了。本文基于一份杂乱的淘宝原始数据，利用正则表达式re库和Pandas数据处理对数据进行清洗，然后通过stop\_word停用词对得到的文本进行分词处理，得到较为”干净“的数据，之后利用传统方法和Pandas优化处理两种方式对数据进行词频统计，针对得到的数据，下一步将利用Pyecharts库，进行多重可视化处理，包括但不限于饼图、柱状图、Table表、漏斗图、极化图等，通过一系列的改进和优化，一步步达到想要的效果，可以说是干货满满，实操性强，亲测有效。

最后非常感谢程序大佬和小小明大佬在期间不断提供的代码，也感谢我自己花时间和心思把这些看似杂乱的消息整理成文，分享给大家学习。有需要本文中完整代码文件的小伙伴，可以在后台直接回复关键词”**程序和小小明大佬**“即可获取。

我的这个Python交流群已经300多人了，有需要加入该群的小伙伴可以加我好友，一起学习，共同进步。

![6fcded0a24e0ca8e8219906e7e5050db.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你用Python改造一款外星人入侵小游戏][Python]
 *  [手把手教你用Python网络爬虫+自动化来创建一位属于你自己的虚拟女票(附源码)][Python 1]
 *  [Python也能操作Mysql数据库][Python_Mysql]
 *  [盘点那些年我们一起玩过的网络安全工具][Link 1]

![833cb2ecb0e67e4fc35a924cae295e0c.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[2fb1c3571dc700f4c09e602536898d1c.png]: /images/20220829/e2521aa577b34854a646a257cc82bcba.png
[fff78b4d605abc3904b11d870eb5c09f.png]: /images/20220829/87f48dd709e04b51bac3d904512c09af.png
[5222d9661023bb0865caf482e91656f0.png]: /images/20220829/42c9d254f53346699ee3c8e6bcb65d38.png
[d32cfa796f7ef7c77b8f1295fc9aed2a.png]: /images/20220829/9a4a3149f8564810856d7c7105f812b0.png
[efd399a4f3cf14bd3f28763b7fc21124.png]: /images/20220829/7082b14f73644e0b9ee80860a8688f5f.png
[7cf6cc2145f33e9989501e0a1139030c.png]: /images/20220829/741378c09c1c4bb48549576e784a8cbc.png
[3337feb4f393e667d4c138f1748e6190.png]: /images/20220829/0811eaf56102439c9c0dc149d469b031.png
[6fcded0a24e0ca8e8219906e7e5050db.png]: /images/20220829/f5c0136154824c08a32ee29a838c6a32.png
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b21dcbb73b0bad0de6f604f61ed53035ba9b4992527621edcd65044568669708855d508a&idx=1&mid=2247496758&scene=21&sn=137eba93ac6dfdc67abedb2e5607e671#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b236cbb73b20d4cc2c0da4410d4dbcaf02e801718dfd78132b9062293c55b5fa1ee044f4&idx=1&mid=2247496733&scene=21&sn=2b6b98c854dc2dede4f6127e83f18240#wechat_redirect
[Python_Mysql]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4e6cbb73df00abf51cc844ebd684e1a630b44e08dcf3e28f9d89d0b0459dd06dd64d6e0&idx=1&mid=2247496397&scene=21&sn=a2641f5a5f98694b9d6b3bf7781c41e6#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b4b9cbb73daf05e46ffc74d8f3c5257db082f8592bc1d4dbd9a536491866367fe160c5ef&idx=1&mid=2247496338&scene=21&sn=cc109289ced145f50e1dfff0f67fc5f3#wechat_redirect
[833cb2ecb0e67e4fc35a924cae295e0c.png]: /images/20220829/7184dc5e1e094bc19ee8dac26d16dc8b.png