【个人项目】电商价格监控——项目介绍和架构演变

冷不防 2022-04-10 05:28 592阅读 0赞

## 前言 ##

文章介绍并整理了一直在维护的一个小项目：京东价格监控，并详细整理了该项目前前后后几次重构的技术选型，作为一篇总结。

## 网站介绍 ##

**在京东购物时，你是否遇到如下情况：**

*  心仪的商品降价了，你却一无所知，等发现后早已断货。
 *  你设置了京东自带的降价提醒，结果在降价后**很久才收到邮件提醒**或者干脆**没有提醒**，错失抢购良机。
 *  网上各种折扣信息，各种折扣网站，却总是不能选择**关注指定商品**
 *  想买手机/电脑/耳机等类别商品，想知道整个京东上手机/电脑/耳机类目实时折扣力度最大的商品。

现在，一个基于python爬虫的**实时价格监控网站**上线了，你要做的仅仅是打开浏览器，输入：

http://price.monitor4all.cn/

![d4f8c01e9b0b362818100e97fb577965.png][]

![bb2c06cc9cf88cd3f2378596e6c71d50.png][]

![ce252968979a444404dc378dfca7e7be.png][]

## 网站功能 ##

### 一：自定义商品监控 ###

设置商品ID（京东商品编号）和您的预期价格，当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。

### 二：品类商品订阅 ###

用户订阅某品类后（例如数码大类），该类所有商品中降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。

## 网站架构演变 ##

### 小白期：Flask+HTML模板+Python脚本 ###

2017年，我当时入门Python语言，学着一步步写网页爬虫，后来接触到了Python后台开发，之后便萌生了做一个与爬虫结合的前后端项目作为练手，最后想到的就是电商商品的爬取。

但是，就算在几年前，信息整合的网站就已经非常多了。国内的**商品优惠信息整合网站**大多是以什么值得买、惠惠购物助手等**信息流推荐+商品历史价格查看**这种方式运营。想要做到有自己的特色，就必须做点不一样的。

于是我决定将爬虫作为监控手段，监控商品的实时价格。

实际上，拿京东举例，京东在当时就已经有了自己的降价提醒，但实际效果并不好，主要问题出在时效性上。用自营商品设置价格提醒后，在京东秒杀时不提醒，在正常显示价格调整后往往在3.4个小时后才能收到提醒邮件。

于是，我从单个商品的监控下手，开始了这个小项目（与其说是项目，不如说仅仅是一个小脚本）。

网站需求很简单，整个一代目架构总结如下：

![在这里插入图片描述][4801e3d8334124502148c1afa0142e0b.png]

> 爬虫组件：就是个简单的Python脚本，加上了定时循环。

> 数据库：采用了最轻量的Sqlite，不需要客户端和服务，单文件保存。

> Web端：后台我采用了网上推荐的Flask，前端只套用了HTML模板。  
> Flask中，涉及到使用Flask-Admin，Flask-Login，Flask-SQLAlchemy，Flask-WTF等组件，搭建了用户注册登录系统。

爬虫开源：https://github.com/qqxx6661/Price-monitor

Flask+HTML开源：https://github.com/qqxx6661/flask\_yzd

从现在的眼光来看，相比于Python中的Django，我认为Flask对于新上手后台的**小白**来说，并不能称得上是很好的入门框架。至于我为什么这么认为，这就涉及到Flask和Django的区别了，我摘抄一段答案在这里：

**Flask**

*  Flask与关系型数据库的配合使用不弱于Django，而**其与NoSQL数据库的配合远远优于Django**
 *  自由、灵活，可扩展性强，开发时可以**结合自己最喜欢用的第三方库**
 *  适用于**小型网站**
 *  适用于**开发web服务的API**
 *  开发**大型网站无压力，但代码架构需要自己设计**
 *  各方面**性能均等于或优于Django**
 *  Flask比Django**更加Pythonic**，与Python的philosophy更加吻合

**Django**

*  **太重了，灵活和自由度不够高**
 *  Django能开发小应用，但总会有“杀鸡焉用牛刀”的感觉
 *  Django**自带的Admin**好评如潮
 *  Django的**自带ORM非常优秀**
 *  Django**自带的模板引擎**
 *  Django**自带ORM也使Django与关系型数据库耦合度过高**，如果想使用MongoDB等NoSQL数据，需要选取合适的第三方库
 *  Django非常**适合企业级网站的开发**：快速、靠谱、稳定
 *  Django**上手也比较容易**，开发文档详细、完善，相关资料丰富
 *  Django目前支持Jinja等非官方模板引擎

我认为对于小白来说，可以先熟悉Django，我觉得：

*  Flask其实和Spring（或者说Springboot）有异曲同工之妙，两者依靠官方的第一方库和网络上的第三方库，来构建一个完整的系统。对于新手来说，跟着教程上手，很容易在各种库的组装中迷失了自己，各种兼容冲突，各种版本匹配，都会让新手摸不到头脑。我也深受其害，两个月之后我再拾起代码，对于之前是如何将各个库进行整合的，忘得一干二净。
 *  Django虽然重，但胜在能让小白对各个系统（管理后台，用户系统，登录注册，邮箱验证，数据库ORM等）都有直观且实际的概念，知道各个系统在一个web项目中应该发挥的作用。

如果让我推荐纯小白开始学Python后台开发，我会建议他从Django开始，在深入去了解Flask。

说回我的网站，网站初步上线后，我在自己的博客上还有Github上做了些宣传。陆续每天都有几个人来访问我的网站，也有在Github上提Issue提建议的。不得不说，正是这些小事让我看到了项目的活力，让我也拥有了更大的编码热情。

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HsqpDtis-1613402141597)(https://github.com/qqxx6661/flask\_yzd/raw/master/Demo.png)\]

但由于学校的科研任务紧，这个项目在搭建好后，就进入了漫长的维护阶段，在这个阶段中，除了几次爬虫规则的重新设计外，并没有其他业务上的改进。

### 过渡期：Django+Bootstrap+Scrapy爬虫框架+代理池 ###

大概半年后，我重新拾了起来，此时已经有一百多个注册用户了，虽然每天的使用率并不高，但是也足够让我满足了。本着学习技术的想法，我开始重构网站。

当时流行的比价插件（购物党/惠惠比价）已经开始做商品的价格监控了，并且他们做的是浏览器插件，完美嵌入浏览器，更方便用户使用，我的价格监控还需要独立的网站进行商品登记，显然已经out了。在这期间，我也萌生了品类监控的想法。

这一时期的主要改动有：

*  从Flask转为Django，前端使用Bootstrap代替原生HTML模板
 *  采用Scrapy分布式爬虫框架爬取整个品类的商品
 *  采用代理池提高整体采集效率

整个二代目架构总结如下：

![在这里插入图片描述][2dad9e064e86de1233a0836511777e11.png]

> 爬虫组件：从单一的Python脚本改为Scrapy框架爬取。

> 数据库：使用Mysql作为商品和用户数据库

> Web端：Django，Django大而全，使用到了Django自带的后台管理，数据库ORM，登录验证，Session，邮件等子模块

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3XN7hfqE-1613402141598)(https://github.com/qqxx6661/Price-monitor/raw/73d9169b024cde176b1be8c98884a6fbc2767c07/docs/Pagedemo.png)\]

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MdSCMPm0-1613402141598)(https://github.com/qqxx6661/Price-monitor/raw/73d9169b024cde176b1be8c98884a6fbc2767c07/docs/Pagedemo3.png)\]

### 稳定期：Springboot+React+Scrapy爬虫框架+代理池+任务队列 ###

18年的秋招，对我来说试一次一场难忘的经历，详情可以看我的秋招文章。秋招我主要是寻找Java后台开发的工作，所以钻研了一段时间的Spring，加之之前的实习经历，开发过实际的SSM项目，对于后台开发，尤其是web后台开发有了更加深刻和广阔的认识，。于是，我打算对电商监控网站进行第三次重构，当然，这次的重点主要是用Spring全家桶替代Django。

此外，为了应用前后台分离思想，我找了一个帅哥同学帮我写React前端，整个项目一下子就有模有样起来。

这一时期的主要改动有：

*  使用Springboot代替Django作为后台，向前端提供API
 *  使用React作为前端，接受JSON数据
 *  改用任务队列发送邮件
 *  代理池支持免费代理，收费代理
 *  免费代理使用Github明星开源项目：https://github.com/jhao104/proxy\_pool

整个三代目架构总结如下：

![在这里插入图片描述][efddac4a6584cb61f1d17c110ae3beb6.png]

>  *  **web网站：Springboot提供接口+React前端页面**
>     
>      *  Springboot（Api）+ Mysql（用户数据）+ React（前端）
>      *  表结构设计、Mybaits、Swagger2、Spring Security + JWT、Spring Cache、跨域、数据库定时备份
>  *  **爬虫：Scrapy分布式爬虫框架**
>     
>      *  Requests/Selenium（爬取）、Mysql（商品信息）、Scrapy + Redis（分布式爬虫）
>      *  反爬策略、IP代理、Scrapy自定义中间件、Headless Chrome网页渲染
>  *  **监控：Python脚本+Celery任务队列**
>     
>      *  Supervisor（守护进程）、Crontab（定时监控脚本）、Celery任务队列（提醒邮件）

## 未来 ##

这个项目有很多的不足，我也一边编码一边总结。

现在我的TODO List：

*  Docker化各个模块
 *  全局搜索
 *  QQ微信登录
 *  价格曲线
 *  推广链接
 *  添加更多商品
 *  …

时至今日，这个项目的两个功能可能都能找到更好的替代产品，毕竟一个人的精力有限，无法将所有想法都体现在程序上。但是这个项目我还会坚持下去，它已经成为了我技术的试验田，也成为了我继续学习的动力。

## 关注我 ##

我的Csdn：

[http://blog.csdn.net/qqxx6661][http_blog.csdn.net_qqxx6661]

我的知乎：

[https://www.zhihu.com/people/yang-zhen-dong-1/][https_www.zhihu.com_people_yang-zhen-dong-1]

我的简书：

[https://www.jianshu.com/u/b5f225ca2376][https_www.jianshu.com_u_b5f225ca2376]

我的个人公众号：Rude3Knife

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nNZmYWPJ-1613402141599)(http://pjmq3oecm.bkt.clouddn.com/Fl3YzEIPDR4ut485fINiSKYYuRvm)\]

[d4f8c01e9b0b362818100e97fb577965.png]: /images/20220402/1b7d9c99867d4b71819737aceb967424.png
[bb2c06cc9cf88cd3f2378596e6c71d50.png]: /images/20220402/e771922864204f1080395358d8461461.png
[ce252968979a444404dc378dfca7e7be.png]: /images/20220402/a2290240b7c0440dbc8973571806673b.png
[4801e3d8334124502148c1afa0142e0b.png]: /images/20220402/22f297dbc6fe4ed0af67aee6c21f6cc4.png
[2dad9e064e86de1233a0836511777e11.png]: /images/20220402/ba07b5e279644fe89175235b9872d8af.png
[efddac4a6584cb61f1d17c110ae3beb6.png]: /images/20220402/9ea6ad5e1a1a4146a2405884d6d66e23.png
[http_blog.csdn.net_qqxx6661]: http://link.zhihu.com/?target=http%3A//blog.csdn.net/qqxx6661
[https_www.zhihu.com_people_yang-zhen-dong-1]: https://www.zhihu.com/people/yang-zhen-dong-1/
[https_www.jianshu.com_u_b5f225ca2376]: http://link.zhihu.com/?target=https%3A//www.jianshu.com/u/b5f225ca2376