Python爬取电商数据：商品采集接口商品详情数据API 商品主图接口

谁借莪１个温暖的怀抱￠ 2024-03-23 15:10 64阅读 0赞

学习**Python**自动化的一个好办法就是构建一个价格追踪器。由于这项任务生成的脚本可以立即投入使用，所以对于初学者来说尤为方便。本文将向大家介绍如何用**Python**采集器建立一个可立即实现电商价格监控的可扩展价格追踪器。

### **价格监控的目的** ###

价格监控的好处多多。对于您个人来说，通过价格监控您可能会以最低价买到一个心仪的产品。

对于公司来说，价格追踪器可以检测竞争对手的销售价格，观察对方何时会对相同的产品展开优惠活动，或为您的产品定一个能实现最佳利润率的价格。价格监控软件可以帮助您恰到好处地调整价格。

#### **抓取价格演示** ####

# coding:utf-8
 """
 Compatible for python2.x and python3.x
 requirement: pip install requests
 """
 from __future__ import print_function
 import requests
 # 请求示例 url 默认请求参数已经做URL编码
 url = "https://注册账号获取服务器地址/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1"
 headers = {
 "Accept-Encoding": "gzip",
 "Connection": "close"
 }
 if __name__ == "__main__":
 r = requests.get(url, headers=headers)
 json_obj = r.json()
 print(json_obj)

利用item\_get接口可以抓取到商品详情数据，响应参数中可以监控到优惠价、总价、原价等。

<table style="width:217.53pt;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;width:102.75pt;">promotion_price</td> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;width:114.75pt;">优惠价</td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">price</td> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">价格</td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">total_price</td> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">总价</td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">suggestive_price</td> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">建议价</td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">orginal_price</td> 
 <td style="border-color:#000000;text-align:center;vertical-align:middle;">原价</td> 
 </tr> 
 </tbody> 
</table>

![ca0f480bd76d46c1b423d2741540a4eb.png][]

请注意，本例中使用的CSS选择器专门用于抓取目标。如果您正在处理其他网站，这是您唯一要改代码的地方。

在CSS选择器的帮助下，我们使用BeautifulSoup来定位一个包含价格的元素。该元素存储在**el**变量中。**el**标签的文本属性**el.text**包含价格和货币符号。价格解析器会解析这个字符串，然后提取价格的浮点值。

DataFrame的对象中有一个以上的产品URL。我们来循环运行所有代码，用新的信息更DataFrame。

最简单的方法是将每一行转换成一个字典。这样，您可以读取URL，调用**get\_price()**函数，并更新所需字段。

我们将添加两个新的键值——提取的价格（price）和一个布尔值（alert），用于在发送邮件时过滤函数行。

[ca0f480bd76d46c1b423d2741540a4eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/9d445b35c982499daecec0883dd8f10a.png