淘宝网技术架构介绍

谁借莪１个温暖的怀抱￠ 2022-08-18 02:03 422阅读 0赞

**淘宝网技术架构介绍**

## 学习目标： ##

1.了解淘宝架构的需求；

2.了解淘宝技术的演变；

3.了解架构的一些基本准则。

## **淘宝相关的一些数据** ##

## ![Center][] ##

###     ###

### 淘宝架构的版本演变 ###

### ![Center 1][]    ###

###  **V1.0架构2003.05-2004.01** ###

### ![Center 2][] ###

###     ###

### V1.0架构-问题 ###

### •数据库容量限制 ###

###  •数据稳定性 ###

###  •数据库性能问题 ###

**V1.1架构2004.01-2004.05**

### ![Center 3][] ###

###  ###

###  V1.1架构-问题 ###

###    •开发效率 ###

###  •无技术积累沉淀 ###

###  •无法满足团队并行开发 ###

###  •不能满足长期持续维护 ###

###  •难以支撑高速业务发展 ###

###  •难以支撑系统可伸缩性 ###

###  •数据库连接达到上限 （每个Oracle数据库大约提供5000个链接） ###

###  ###

###  V2.0架构 2004.02-2005.03 ###

### ![Center 4][] ###

### **V2.0架构-以EJB为核心** ###

### ![Center 5][]       ###

### **V**2.0架构-WebX MVC框架 ###

•基于Apache Turbine框架改造

###  •模块化(car) ###

###  •基于管道流(pipeline)的架构 ###

###  •页面布局(Screen Layout Control) ###

###  •基于模板的页面渲染(JSP,Velocity,Freemarker) ###

### **V2.0架构-项目管理工具AntX** ###

### •类似Maven ###

###  •Ant ++ ###

###  •AutoConfig ###

###  •页面布局(Screen Layout Control) ###

###  •基于模板的页面渲染(JSP,Velocity,Freemarker)       ###

### **V2.0架构-问题** ###

### •性能 ###

###  •提高开发效率 ###

###  •AutoConfig ###

###  •降低成本 ###

### V2.1架构-2004.10-2007.01 ###

### ![Center 6][] ###

### ![Center 7][]    ###

###  **V2.1逻辑架构-以Spring为核心** ###

### ![Center 8][] ###

### V2.1架构-TBStore ###

###  •基于Key-Value的高速缓存 ###

###  •中心化缓存存储 ###

###  •多种缓存策略 ###

### **V2.1架构-TaobaoCDN** ###

•静态内容：图片，描述，js,css,静态页面

###  •全国20余个站点 ###

###  •高峰30G/秒 ###

### **V2.1架构-session框架** ###

### •集中存储 ###

###  •对代码透明 ###

### **V2.2架构-需求2006.6-2007.12** ###

### •提高系统性能 ###

###  •降低存储成本 ###

###  •支持海量数据搜索 ###

•分布式存储TFS

•分布式缓存Tair

###  •页面缓存ESI ###

###  •搜索引擎升级 ###

### ![Center 9][] ###

###     ###

###  **V2.2架构分布式文件存储TFS** ###

###    •类似GFS ###

###  •数据压缩 ###

###  •数据去重 ###

###  •每天增长300G ###

###    ![Center 10][] ###

### **V2.2架构-TDBM/Tair** ###

### •基于一致性hash算法 ###

###  •类似memcached ###

###  •多种缓存策略 ###

###  •容灾 ###

### ![Center 11][] ###

###  **V2.2架构-搜索引擎** ###

###  •**切分** ###

### ![Center 12][] ###

###     ###

### **V2.2架构-问题** ###

### •多个业务系统中1/3核心业务代码重复 ###

###  •所有数据库都需要关注拆分原则 ###

###  •数据库连接达到上限 ###

###  **V3.0架构-2007.12-？** ###

### •数据访问层TDDL ###

###  •面向服务框架HSF ###

###  •消息系统Notify ###

###  •Oracle->mysql ###

###  •监控-哈勃 ###

### ![Center 13][] ###

###  **V3.0架构-逻辑****结构** ###

###    ![Center 14][]       ###

###  **V3.0架构-数据透明收缩-数据库层** ###

### ![Center 15][] ###

###  ###

###  V3.0架构-服务化HSF ###

### •服务导向框架 ###

###  •中心化/产品化管理 ###

###  •70亿/天的请求量 ###

###  **V3.0架构-消息系统Notify** ###

### •Topic方式 ###

###  •发送事务 ###

###  •2亿消息/天 ###

###  •送达率99.99% ###

### ![Center 16][] ###

###  ###

### V3.0架构-可用性 ###

### •同城容灾 ###

###  •异地容灾 ###

### ![Center 17][]       ###

###  **V3.0架构-哈勃监控系统** ###

###    ![Center 18][]       ###

### **V3.0架构-哈勃监控系统-特征** ###

### •超轻量级HubAgent ###

HubAgent是一个基于揑件模式轻量级HTTP服务，可以通过增加揑件的方式进行扩展，目前已提供“增量日志获取”，“外部程序（脚本）调用”，“进程&线程探测”，“端口探测”等多种服务。系统使用Python开发，不依赖第三方系统，可以安装在仸何linux服务器上。

### •分布式的分析系统 ###

分析系统使用MapReduce的编程模型，对大量的监控数据进行幵行处理。系统将采用松耦合的Master-Slave模式，Master处于被劢状态，只负责仸务的生成和合幵，不需要关心仸务分派。系统设计更加简单、灵活，通过增加Slave即可得到水平扩展能力**。**

### •Cassandra数据存储 ###

###  系统使用Cassandra来实现大量监控数据的分布式存储，Cassandra具有模式灵活，扩展性强，具有多维数据。 ###

###    **V3.0架构-哈勃监控系统-使用情况**    ###

### •应用情况 ###

目前以接入包括主站和广告在内的350多个应用，配置了超过1500个仸务和3000多张监控报表。能为应用的集群指标提供30天的明细数据，单机提供7天的明细数据；每小时的统计数据保存1年和每天的统计数据永久保存。

###  •系统情况 ###

HubAgent已经安装超过3500台，基本覆盖了主站的应用服务器。

目前有1台Master服务器和7台Slave服务器用于数据分析。 master的流量在5Mbps，Slave合计的平均网络  
流量60Mbps（峰值120Mbps），平均每天处理约4T的原始数据。  
 目前有5台Cassandra服务器，350G左右的数据存储量，每天的数据增量在25G左右；

###     ###

### 淘宝架构-回顾 ###

### ![Center 19][] ###

###     ###

###  **架构遵循的基本原则** ###

### •上可依赖下 ###

###  •下不可依赖上 ###

###  •平级间可以相互依赖（不推荐），禁止循环依赖 ###

###  •使用消息对系统间依赖解耦 ###

###  •简单就是美 ###

### **服务化/中心化的业务系统架构** ###

### ![Center 20][]             ###

[Center]: /images/20220731/147b735144fa47d5a7f2f5dd7a9dfcff.png
[Center 1]: /images/20220731/f85f2588a8db4aef8e2b2d3b0daf5c62.png
[Center 2]: /images/20220731/dd8b1ccc46334140badfdc95a848fe59.png
[Center 3]: /images/20220731/e1d8f3ac8b554839941fc227265026d1.png
[Center 4]: /images/20220731/29fdb740bb06404297e8daa2225e2be6.png
[Center 5]: /images/20220731/80d08846b2c54b27a6084f6036360f74.png
[Center 6]: /images/20220731/9feceb3146d2416889d6330944c94a35.png
[Center 7]: /images/20220731/ec107ef689534a9ba258ec2ca04abc5d.png
[Center 8]: /images/20220731/de2698fcc5034207b51cf9d1b66b5548.png
[Center 9]: /images/20220731/d7b0b69473644464b9fa47ea55afb50f.png
[Center 10]: /images/20220731/9857d44ea3fe46ff94da42e9c3c50977.png
[Center 11]: /images/20220731/f8ef986dc3d14fc6b095754220629d77.png
[Center 12]: /images/20220731/8c9571ed263549f5ad453b06e38a4c9c.png
[Center 13]: /images/20220731/d7f532f707c34f3ba37d29f2be9d6777.png
[Center 14]: /images/20220731/be51ef7c61db415899643310e8b63cb1.png
[Center 15]: /images/20220731/62ae79d6d80242cea1c3726c413c33f6.png
[Center 16]: /images/20220731/3b3fca15f1314b65a372742c562e4abc.png
[Center 17]: /images/20220731/08ea1553ee1343a694e2dd373fbf5ce8.png
[Center 18]: /images/20220731/921cb253709343da8c14066f1a079169.png
[Center 19]: /images/20220731/586cfed11b9a4c6cbcf15c8725ca43db.png
[Center 20]: /images/20220731/0e1e97a06e234556a891d8ba78591366.png