用Python爬取了2900多款防脱洗发水数据并进行可视化分析，助你缓解脱发困扰

ゝ一世哀愁。 2022-09-15 05:54 5阅读 0赞

![ac29421e0c409ea5fbdefcc8ed6be4a5.png][]

就在前段时间，一项由卫健委发起的脱发人群调查数据显示：中国受脱发问题困扰的人群高达2.5亿。听到这儿，远在韩国的各家媒体又开始出来搞事情了。

![7cf1b6ee6186fbf4ff2f4bbbd0e7d648.png][]

根据他们的计算，这些人完全脱发时的总脱发面积大约可达5900平方公里，相当于**首尔市面积**（605平方公里）的**十倍**，那么今天小编就以一个数据分析师的身份来为这些人群出出主意，**挑几款相对合适的防脱发洗发水**给他们来使用。

![e98da7753410d9a5a753c4fbba30c209.gif][]

![4785e0002320ee285cd5b3f3b91cd45e.gif][]

![091331dfb9b1282e305ea76fdc589634.gif][]

1. 聊聊脱发困扰

脱发其实分为很多种情况，如**脂溢性脱发**，表现为头屑增多、头皮痛痒、头发油脂分泌旺盛。还有**营养性脱发**，当饮食作息不规律时，脱发情况就会愈发地严重，以及**物理性脱发**，有时头发扎太紧、扯伤毛囊，都会造成脱发。

![b5467040784a961278d2b7d97352bf4b.png][]

不过大家也不用太过于担心，有研究表明，一个正常人每天脱落80-100根头发属于正常情况，但是如果超过100根就要提高警惕了，极大可能是头发的生长跟不上脱发的速度了。而**有一款合适的洗发水，保持头皮的清洁卫生**，对于防脱生发也有着极大的帮助，而**对于不同头皮发质、不同年龄段的人来说**，使用的洗发水也是不尽相同的。

![a5ad347a63024dd06e005db1149aada4.gif][]

![c96137f39ac20acb6301a119d06d13c2.gif][]

![307d8a8331cb7ebd90a647a5221e600b.gif][]

2. 数据采集

数据采集是数据可视化分析的第一步，也是最基础的一步，本文主要是基于从电商平台上抓取一些防脱发类型的洗发水，采集过程如下

![cd9355ace4d55109039381fdb9543ed7.gif][]

![b5d2314d689d2bafbacd200a263491d6.gif][]

![4997ecedab8bb790789babe85083180a.gif][]

2.1 页面分析与程序的编写

![c86fad4cef4045b840b77728909bcf8c.png][]

该页面的总共60件商品由**两个子页面构成**的，每一个子页面分别包含30件商品，通过page参数来进行调节，那么我们请求的构造方式就变得相当简单了，

def get_xxx_html(page):
        params = (
            ('keyword', '\u9632\u8131\u53D1\u6D17\u53D1\u6C34'),
            ('qrst', '1'),
            ('suggest', '1.def.0.base'),
            ('wq', '\u9632\u8131\u53D1\u6D17\u53D1\u6C34'),
            ('stock', '1'),
            ('pvid', '4d8b661510984fb5ae2bf68fac6c50c7'),
            ('page', str(page)),
            ('s', '27'),
            ('scrolling', 'y'),
            ('log_id', '1633307411833.8939'),
            ('tpl', '1_M'),
            ('isList', '0'),
        )
        response = requests.get('https://search.xxxx.com/s_new.php', headers=headers, params=params, proxies=proxies)
        response_beau = BeautifulSoup(response.text, 'lxml')
        return response_beau

通过这个请求，可以获取到的商品信息如下

![4702625a06b2bfd4fdd3ef53b449de10.png][]

而针对评论方面的内容，则是以**json数据形式存在**，比较好解析，而且接口api非常明确，可以直接通过商品id这个参数即可进行请求的获取

params = (
            ('callback', 'fetchJSON_comment98'),
            ('productId', str(productId)),
            ('score', '0'),
            ('sortType', '5'),
            ('page', '0'),
            ('pageSize', '10'),
            ('isShadowSku', '0'),
            ('fold', '1'),
        )
    
    
    response = requests.get('https://club.xxxxx.com/comment/productPageComments.action', headers=headers, params=params, cookies=cookies)
    response_jsonified = response.text.replace("fetchJSON_comment98", "")[1:-2]
    response_jsonified_again = json.loads(response_jsonified)
    productCommentSummary = response_jsonified_again.get("productCommentSummary")
    commentSum = productCommentSummary.get("commentCountStr")
    goodRate = productCommentSummary.get("goodRate")

![094a3c9896ab3b0a70a61a326ff05c29.gif][]

![28d1f59c6316aaf52a1dd0c4f4842fee.gif][]

![6452b8ba37c558d029f99d856fc53e7c.gif][]

3.数据清洗

数据采集后，接下来便对其进行数据清洗，去除重复值与脏数据，有助于提高可视化分析的准确性。

![1599d8167b38a62dfff7be560f39e5b4.png][]

导入商品数据

import pandas as pd
    df = pd.read_excel("jd_product_info.xlsx")
    df.info()

![67c8203761c5efceef1f9f0ad5e75695.png][]

![02540a24bf242fdcbf95d001480be26b.png][]

删除重复数据

df.drop_duplicates()

![36fa5000c1da222e79ff33b3de8c2c90.png][]

**特殊字符处理**

df["product_name"] = df["product_name"].str.replace(r'\s','',regex=True)
    df["commentSum"] = df["commentSum"].str.replace('+','',regex=True).str.replace('万','0000',regex=True)
    df.describe()

![80bb1d89086bde41cf0f870e7eb3ebc0.png][]

![46b44b617bca0b0a19b2a50afbeb5811.gif][]

![2b11560b107193f9774523f6f89313fd.gif][]

![d5c806975ac4c1ab0a3eb66edbe6cbdb.gif][]

4. 可视化分析

以下我们将从商品的**价格分布**、**评论分布**、商品产地分布、旗舰店所卖商品分布，商品功效等维度来进行数据的可视化分析

![618106efd9e7b199d679180e7f1c92df.png][]

商品价格分布

df["product_price"].plot.hist(stacked = True, bins=20)

![c42e17074c3310651ff0016366cd857c.png][]

可以看到大部分的商品价格**都在250元以内**,然后我们对商品的价格区间做一个统计分析

df["product_price_range"] = df["product_price"].apply(lambda x: range_price(x))
    df["product_price_range"].value_counts()

![ede705fa150b694742da6843b3baed74.png][]

![3af223220a5c18e02a436f8a29a4a8be.png][]

![8cea481d006547dec186e3cdfd117f4c.png][]

评论数分布

大部分的商品评论数都是在**5000+**或者是**2000+**左右，或者是在**200以及500左右的评论量**，而评论数在**50万以上**以及**100万以上**的分别**有22个**和**17个**，我们可以基本认定这些类的商品，**它的购买量是最多的**，我们

df["commentSum"].value_counts().head(8)

而评论量在100万以上的基本上都是**霸王旗舰店**或者是**爱茉莉官方旗舰店**所售卖的商品

df[df["commentSum"] == "1000000"]["product_shop_name"].value_counts()

![f49f2c6171db7435b852cadc56e535ad.png][]

![cb0b51783ef8ee7611a5c1c9956a2341.png][]

哪些旗舰店的商品最多

那么从总体上来看，哪家店铺卖的防脱发的洗发水更多呢,其中“**霸王****旗舰店**”总体上来看也是售卖防脱发类型的产品最多的，其次便是“**华贸美妆专营店**”和“**滋源官方旗舰店**”等

df["product_shop_name"].value_counts().head(20)

![e4a56f7b520c5b7a64ecf70680edaa40.png][]

![9cd6973fe10fa72808f8761b41084e6f.png][]

不同头皮与不同发质对应的洗发水

不同头皮、不同发质所对应使用的洗发水不同，例如对于**油性头皮**,想要“**去屑、控油、防脱**”功效的洗发水，可以这么来搜索

df_1 = df[df["product_head"] == "适合头皮：油性"]
    df_1["commentSum"] = df_1["commentSum"].astype("int")
    df_1[df_1["product_function"].str.contains("去屑")].sort_values("commentSum", ascending = False)

![8a21ecc50e81e9f4ed7a54b3af4f527a.png][]

例如对于**中性头皮**，想要达到**控油效果**的洗发水，则可以这么来搜索

df_1 = df[df["product_head"] == "适合头皮：中性"]
    df_1["commentSum"] = df_1["commentSum"].astype("int")
    df_1[df_1["product_function"].str.contains("控油")].sort_values("commentSum", ascending = False)

![f13a8a5e9047643f295fdf383656c9ce.png][]

![4b304b277153c37da112c56d31173363.png][]

小结

本文仅供学习研究使用，提供的评论仅供参考。如有不妥之处请及时告知作者。

[ac29421e0c409ea5fbdefcc8ed6be4a5.png]: /images/20220828/26be3ec4d4ca4d1cad39ed49d69501cf.png
[7cf1b6ee6186fbf4ff2f4bbbd0e7d648.png]: /images/20220828/a3f90aaa01584c258f8f0e31c403a261.png
[e98da7753410d9a5a753c4fbba30c209.gif]: /images/20220828/f71b95d5bb064d70a495ae2fa3cd13ab.png
[4785e0002320ee285cd5b3f3b91cd45e.gif]: /images/20220828/3ee1cb015cd94cbabeb8ba429a05bb63.png
[091331dfb9b1282e305ea76fdc589634.gif]: /images/20220828/af00c91e3363476b99eddbc91988174f.png
[b5467040784a961278d2b7d97352bf4b.png]: /images/20220828/cbb5579752eb4d98a32117d3c395632d.png
[a5ad347a63024dd06e005db1149aada4.gif]: /images/20220828/75c79a39cffc4296bda9b0b3b647d00f.png
[c96137f39ac20acb6301a119d06d13c2.gif]: /images/20220828/8ec67bf9f70d4a58813b1550688c8646.png
[307d8a8331cb7ebd90a647a5221e600b.gif]: /images/20220828/8bf633db2f7a46e6a33566b91c7ab96f.png
[cd9355ace4d55109039381fdb9543ed7.gif]: /images/20220828/0471058d82134fa6beec972a24478c80.png
[b5d2314d689d2bafbacd200a263491d6.gif]: /images/20220828/df8bf47fbf5f4386b6bd8cb41ddb4a88.png
[4997ecedab8bb790789babe85083180a.gif]: /images/20220828/81665ce79f904f38b43391bcd7957077.png
[c86fad4cef4045b840b77728909bcf8c.png]: /images/20220828/1054dcf1a7bf46ce900caf306120e0bc.png
[4702625a06b2bfd4fdd3ef53b449de10.png]: /images/20220828/2f59f2dcb52e4a6a8f9237763af6486b.png
[094a3c9896ab3b0a70a61a326ff05c29.gif]: /images/20220828/93fe8a319b904811b4001bc3901df6f5.png
[28d1f59c6316aaf52a1dd0c4f4842fee.gif]: /images/20220828/915e4ed5c6734b128fc56917b0f0f425.png
[6452b8ba37c558d029f99d856fc53e7c.gif]: /images/20220828/4485b5485e134aba8ccf6eb36e31ff2e.png
[1599d8167b38a62dfff7be560f39e5b4.png]: /images/20220828/41dc2b548c504d32a15fadab5f0c07bf.png
[67c8203761c5efceef1f9f0ad5e75695.png]: /images/20220828/d51cba2bfb344a3ca8529d72c5e72b3c.png
[02540a24bf242fdcbf95d001480be26b.png]: /images/20220828/4f4fbf1abc6b44dfb6d3f805ee60e481.png
[36fa5000c1da222e79ff33b3de8c2c90.png]: /images/20220828/54856a1f1f894573a96d2b4374073555.png
[80bb1d89086bde41cf0f870e7eb3ebc0.png]: /images/20220828/f4c2754ddc7143b6b8f17476b6906156.png
[46b44b617bca0b0a19b2a50afbeb5811.gif]: /images/20220828/81738bd9dc8740cd9be6839c21ab4784.png
[2b11560b107193f9774523f6f89313fd.gif]: /images/20220828/644c9f5c60794d498bd81c082acb7669.png
[d5c806975ac4c1ab0a3eb66edbe6cbdb.gif]: /images/20220828/0ba322ebea9f4be4adfdad9f5afae180.png
[618106efd9e7b199d679180e7f1c92df.png]: /images/20220828/539ad4f8847a4a158da34c64b6cb0de7.png
[c42e17074c3310651ff0016366cd857c.png]: /images/20220828/d59a7a04a4574013b1c2b9123c88e5da.png
[ede705fa150b694742da6843b3baed74.png]: /images/20220828/de423e09a58949cc9d3aeeaa3d31666e.png
[3af223220a5c18e02a436f8a29a4a8be.png]: /images/20220828/c7b2ff46f19d4554b1124a1876ddf530.png
[8cea481d006547dec186e3cdfd117f4c.png]: /images/20220828/4b3af026aba049eba4c8c0406fadaf0c.png
[f49f2c6171db7435b852cadc56e535ad.png]: /images/20220828/a7d3f6df01454bac981bf3c161086564.png
[cb0b51783ef8ee7611a5c1c9956a2341.png]: /images/20220828/86fdd5b041ac4875b29d524feabb19ff.png
[e4a56f7b520c5b7a64ecf70680edaa40.png]: /images/20220828/bdf57f2e8007459c915020b136209dfc.png
[9cd6973fe10fa72808f8761b41084e6f.png]: /images/20220828/c72549b596ee418dbbfdb007d06135d4.png
[8a21ecc50e81e9f4ed7a54b3af4f527a.png]: /images/20220828/d3258311de0b4a23b234a4de5ed08f0c.png
[f13a8a5e9047643f295fdf383656c9ce.png]: /images/20220828/7ced3e75a642444b88b5310ded12abef.png
[4b304b277153c37da112c56d31173363.png]: /images/20220828/f320e65d558e43b495dba1a1e47c8591.png