用python爬取4332条粽子数据进行分析，再送15盒粽子给大家

灰太狼 2023-02-19 03:27 15阅读 0赞

↑ 点击上方 “**凹凸数据**” 关注 + 星标 ~

文章干货！有福利 ！ ![format_png][]

![format_png 1][]

端午节快要到了，甜咸粽子之争也快要拉开帷幕。

![format_png 2][]

小五准备用Python爬取淘宝上的粽子数据并进行分析，看看有什么发现。

（顺便送大家一波福利）

## 爬虫 ##

爬取淘宝数据，本次采用的方法是：Selenium控制Chrome浏览器自动化操作\[1\]。其实我们还可以利用Ajax接口来构造链接，但是非常繁琐（包含加密秘钥等），直接使用Selenium来模拟浏览器会省去很多事情；

之前的文章我们也用过相同的方法，比如：[爬电脑、爬电脑、爬完电脑买不起][Link 1]

最常见的问题是chromedriver驱动与谷歌浏览器的版本不匹配，很容易就可以解决。接下来，我们就开始利用selenium抓取淘宝商品，并使用Xpath解析得到商品名、价格、付款人数、店铺名、发货地址信息，最后将数据保存在本地。

爬虫过程如下图：

![format_png 3][] selenium自动化爬取（需要淘宝扫描登录一次）

from selenium import webdriver
    
    # 搜索商品，获取商品页码
    def search_product(key_word):
        # 定位输入框
        browser.find_element_by_id("q").send_keys(key_word)
        # 定义点击按钮，并点击
        browser.find_element_by_class_name('btn-search').click()
        # 最大化窗口：为了方便我们扫码
        browser.maximize_window()
        # 等待15秒，给足时间我们扫码
        time.sleep(15)
        # 定位这个“页码”，获取“共100页这个文本”
        page_info = browser.find_element_by_xpath('//div[@class="total"]').text
        # 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
        page = re.findall("(\d+)",page_info)[0]
        return page

详细爬虫代码下载见文末。

## 数据整理 ##

此时我们爬取得到的数据：

![format_png 4][] 整理前的数据

数据还是比较粗糙的，有几个问题需要我们去处理：

1.  添加列名
2.  去除重复数据（翻页爬取过程中会有重复）
3.  购买人数为空的记录，替换成`0人付款`
4.  将购买人数转换为销量（注意部分单位为`万`）
5.  删除无发货地址的商品，并提取其中的省份

部分代码：

# 删除无发货地址的商品，并提取省份
    df = df[df['发货地址'].notna()]
    df['省份'] = df['发货地址'].str.split(' ').apply(lambda x:x[0])
    
    # 删除多余的列
    df.drop(['付款人数', '发货地址', 'num', 'unit'], axis=1, inplace=True)
    
    # 重置索引
    df = df.reset_index(drop=True)
    df.head(10)

![format_png 5][] 整理后的数据

这样我们就对数据完成了清洗与整理，方便下一步进行可视化。

顺便做个排序，看看什么粽子最贵！

df1 = df.sort_values(by="价格", axis=0, ascending=False)
    df1.iloc[:5,:]

![format_png 6][] 价格TOP5的粽子

前三名都来自御茶膳房旗舰店，让我们看看1780元的粽子长啥样吧！

![format_png 7][]

想尝尝![format_png 8][]

## 数据可视化 ##

本文我们打算用pyecharts进行可视化展示。有同学可能使用的是老版本（0.5X），Pyecharts的1.x版本与老版本（0.5X）不兼容，如果无法导入可能是这个问题哈。

可视化所有语句均基于`v1.7.1`，通过以下语句可查询你的pyecharts版本：

import pyecharts
    
    print(pyecharts.__version__)

具体安装与使用案例可以参考教程：[Pyecharts 1.x 教程][Pyecharts 1.x]。

### 扇形图 ###

最贵的粽子1780元看来是吃不起了，那大家都买什么价位的呢？

先按照淘宝推荐的区间划分一下：

def price_range(x): #按照淘宝推荐划分价格区间
        if x <= 22:
            return '22元以下'
        elif x <= 115:
            return '22-115元'
        elif x <= 633:
            return '115-633元'
        else:
            return '633元以上'

再使用`pyecharts`来生成不同价格区间的粽子销量占比图。

![format_png 9][] 不同价格区间的粽子销量占比

看来百元以内的粽子（礼盒装）才是大家的正常承受范围，不过我还是选择小区门口的5块钱3个。

### 词云图 ###

我们用`jieba`对爬取得到的商品名称分词，生成词云。

from pyecharts.charts import WordCloud
    from pyecharts.globals import SymbolType
    
    # 词云图
    word1 = WordCloud(init_opts=opts.InitOpts(width='1350px', height='750px'))
    word1.add("", [*zip(key_words.words, key_words.num)],
              word_size_range=[20, 200],
              shape=SymbolType.DIAMOND)
    word1.set_global_opts(title_opts=opts.TitleOpts('粽子商品名称词云图'),
                          toolbox_opts=opts.ToolboxOpts())
    word1.render("粽子商品名称词云图.html")

![format_png 10][] 粽子商品名称词云图

硕大的`粽子`周围环绕着几个突出的关键词：`礼盒装`、`鲜肉`、`蛋黄`、`嘉兴`、`豆沙`、`端午节`。除去端午节相关的词汇，我们通过关键词大小似乎就知道几种口味的受欢迎情况。

查阅资料对比一下，还真是大体一致。

心疼我枣粽。

至于嘉兴这个地名，我们后文会继续提到。

![format_png 11][]

### 条形图 ###

上文我们查到了最贵的粽子，那么销量最好的粽子/店铺是什么呢？

安排

![format_png 12][] 粽子商品销量Top10

`五芳斋`共4款入围，其中一款礼盒装达到了100万+的销量，应该比这个还多（参见微信的10w+）。`真真老老`紧随其后，3款粽子进入TOP10。其余的品牌还有`稻香村`和`知味观`，额，第九名是卖粽叶的，看来自己包粽子的需求也是蛮大的嘛。

![format_png 13][] 粽子店铺销量Top10

粽子店铺销量Top10其实与商品相似，`五芳斋官方旗舰店`和`真真老老旗舰店`占据首位，遥遥领先。

经过查阅，五芳斋，真真老老，都为嘉兴的粽子两大品牌，那难怪`嘉兴`在词云图里那么突出。嘉兴属于`浙江省`，销量冠亚军都在这里，那浙江岂不是占比很大。

还真是这样：

### 地图 ###

继续使用`pyecharts`来生成各省份粽子销量分布图\[2\]

from pyecharts.charts import Map 
    
    # 计算销量
    province_num = df.groupby('省份')['销量'].sum().sort_values(ascending=False) 
    
    # 绘制地图
    map1 = Map(init_opts=opts.InitOpts(width='1350px', height='750px'))
    map1.add("", [list(z) for z in zip(province_num.index.tolist(), province_num.values.tolist())],
             maptype='china'
            ) 
    map1.set_global_opts(title_opts=opts.TitleOpts(title='各省份粽子销量分布'),
                         visualmap_opts=opts.VisualMapOpts(max_=300000),
                         toolbox_opts=opts.ToolboxOpts()
                        )
    map1.render("各省份粽子销量分布.html")

![format_png 14][] 各省份粽子销量分布

这个销量占比差异真的是太大了。

可以说中国粽子看浙江，浙江粽子看嘉兴\[3\]（通过计算发货地址为浙江的粽子销量占比70.6%，而嘉兴占浙江的87.4%）

![format_png 15][] 纪录片《舌尖上的中国》里的嘉兴粽

## 小结 ##

粽子自古以来就代表着纪念和美好的祝愿。

而在这个并不安稳的2020，端午的粽子更多了一些祈愿国泰民安，顺利度过阴霾的意义。

“端午安康”不再是一句客套话，而是我们能送给彼此的最好的愿景。

![format_png 16][]

本文数据和爬虫可视化源码下载地址：

https://alltodata.cowtransfer.com/s/d11c8906cd9c4c

### 参考文章 ###

\[1\]

数据分析与统计学之美: *《手把手教你爬取淘宝的笔记本电脑数据，指导你如何选购电脑！》*

\[2\]

CDA数据分析师: *《全网谁家热干面销量最高？》*

\[3\]

新农堂: *《你对粽子的力量可能一无所知》*

## 福利时间 ##

端午节就要来了，**腾讯云+社区**联合**凹凸数据**给大家送**15份**腾讯云+社区定制五芳斋粽子礼盒

没错，**五芳斋**就是上文中经过我们分析得到的：最受欢迎（销量最好）的粽子品牌。

![format_png 17][]

现在公布赠送规则，一定要**按照要求参与**才有机会获得！

![format_png 18][]

**活动1**：扫描上方二维码**微信授权登陆并关注**我的云+社区主页，**截图并扫描文末最后一张二维码上传**即可参与，抽出**7份**！

![format_png 19][] 截图示例

**活动2**：活动1关注后，可以**评论**我的任意一篇云+社区文章，同活动1，截图上传抽出**7份**！

![format_png 20][] 评论示例

**活动3**：点亮文末在看并点击下方文字给我留言(不限主题)，点赞第一名赠送粽子**1份**。

最后再次感谢**腾讯云+社区**对本活动的支持，祝各位好运！

**注1**：为保证粽子能及时送达幸运读者的手中，本次活动**截止时间**为6.19日20点（明天晚8点）！

**注2**：以上三个活动可以同时参加，但**同一**用户只能获得一份礼盒！

**注3**：本次活动将不再单独发文公布获赠名单，所以请所有参与活动的同学**添加小五微信**（zpw505）关注最新消息。同时一定要仔细阅读规则参与，谢谢！

活动1、2的截图反馈地址：

![format_png 21][] 扫描上传截图

祝大家好运~

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9VUzEwR2NkMHRRRUJOaG4xdUhWYlZMOTYwNFN5U0NoQ1hNemxGNmljb1JMNXd4dnFUTXhwWElvNURLaWFyMTFIamlhU2Z3QjhJZDBrUFl5SmxUZmNzSDNnUS82NDA?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9ZblYxaWNma2NOOFlBUGhSU2FsaWI5UnZBZHhISmVDVE16Z1pMMDJyaWJWQ0RCYUhmRlNRalE3S3ZVQkM3Sk5VcmppY0RoSmlhaWFhSk9sWTNENlZpY3FJN3FJU0EvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQUd4Z2c3TXVzd1dReFNkTkF2bTRVb2NDbDlCcVpvNWFSbHNuMnpFQ2psbWUwT1o3NmZRV2F3Zy82NDA?x-oss-process=image/format,png
[Link 1]: https://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&idx=2&mid=2247488853&scene=21&sn=fe9ca08fdbb027599c1e884441e3bb92#wechat_redirect
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQWtuVkVLeWdMOVZJank3VEs5QXIxOGJvWXJ6aDdWZVE3M20zUzZhSnRETTNocHprVXpMNXdVZy82NDA?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQWpxVU5tSlZuSktTRFZpYmpmTG94NW50MUJpYlVLV3Q2bkxUTnFIdWlieTF4dlJZaWN3bHNuQXRQc3cvNjQw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQUprdUx4YXUxc0hiOEpvTTh2TDN0UGdQQlhzSHl2bGVuNnZYelpndGNlVGdCWjZuZXpSVTN5QS82NDA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQWtaUWFZajRiNWF2ZERnT01HVHlDUVYwZTNoQVM1akwyZnExTFFkcHNYc2ljNFlCcXBaeGlhanVnLzY0MA?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQVdJVXMxclBjTlh6c2dObGVkc2diamoySVlwZ3hHU29pYndkVjZjS2FjOUl4TmQyb0hIcVQyaFEvNjQw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQVlXV0Z6aGdCaWNOd3JvcmtudENxSDZ1bDRyNFhsd1c5YW9PNmppYmxvWVpzbWZneUhYV1dWNzBBLzY0MA?x-oss-process=image/format,png
[Pyecharts 1.x]: https://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&idx=2&mid=2247485599&scene=21&sn=70ec5fe8af596a4a0386c3c970111aec#wechat_redirect
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQUY2OTM2STl3U1NpY21ZeERXaEd5RVRyTVVIWjZDRlk1VXVRVmljZWxLWWswWDRLTzhsUkk5eXp3LzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQTBHNGtvUmliQ21kSGJoaWJIakJEbHdkRU12dUQxZlB4bTJrSFpMSjNPcURDc0V2Ump5R0RmRER3LzY0MA?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQVJiekExN3JUOG96VXFwRGZNN2dPemVSRU1yVVByUUd4TDVGQlpNaWJMTnJPOHNFaWM2eDFsT1F3LzY0MA?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQTd6dHFyTXVpYmp2Z0JTYUNhbGZSNXh4d2Z0YW9xdUs4aWJRMWUwTjh3TVdCbThjaWE5MlVTc2lhN3cvNjQw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQURvUlVudTRUeERpYlJnZzJQOWVRaWNWbmswYWc4ZzVnSHlObFdiQ0w4OWljRW1nZEFROHJ2YjNKUS82NDA?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQU01VWliMWxXbzNVVWVRQTZNRDdoUmVMejJpYXhhR082NmVBQmc4SUgzNGpPRk1lMEVsZ2pTOFZRLzY0MA?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9iOGV6bVF3aWE2eGlhdVZiY25GaWFIOXV4b2I0VU5PRVpQZUVKWm1XY2Y0bFJ5Y3NzOFJ2ckFVOWliRm1yRGFqMW5yS3hFRWljNWliRzBZVUxUbndLSThjVG5aUS82NDA?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQVFkVlE4ZjBpYXRPYzJnOEczNmtMZVRTQmliTDdlaWFVN0RpYzZOc0lFejFvTjZoQkIwcHFEZXJOaWJ3LzY0MA?x-oss-process=image/format,png
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy8yR2NTRmh1QUZsQTZkRFpLRVdwZEMwQnA3QjBZVmlhTzNMVzRBSzdhaWFabmpWbzZGamJJSVZ6VEJOSkROOTVlbFhtV0hVWEJLWkpQeFUyaWFOTFN1NEZwQS82NDA?x-oss-process=image/format,png
[format_png 18]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQUFoMGJsbzBDNTBNam55WGV0eDZOR2RsSDdVMjhDQ2RsdFQ1WUZUT2JUNWNaU041V1RpYUlpYkd3LzY0MA?x-oss-process=image/format,png
[format_png 19]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQVJpY1VsMlppY0ZvZlBJbnlaNDlDZXpkTVhYU1N4emEwczdNbW1QVEx1dmlhMmxZeGhMbld6VzdqUS82NDA?x-oss-process=image/format,png
[format_png 20]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQWUwczgzemZFQm45a3ZLaE9JTUxheThsR0FjbFJiTElNOUIwU2FkdEpPWHdQS1QxY0R4ZXBPQS82NDA?x-oss-process=image/format,png
[format_png 21]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90WFlpY3Q0MHhmTGlhaWNzVnkyZ1BtQUpPclc0OVZnV0txQWVRMU9YSzZCNkoybHVQblp0aWE1UWszNnJ5VGFseTdLMHY2NVA2OXlSdmE2R1hWblFESVVRNWcvNjQw?x-oss-process=image/format,png