再造淘宝电商项目落地，从零开始搭建亿级系统架构笔记

深藏阁楼爱情的钟 2023-09-27 09:57 4阅读 0赞

> 电商亿级系统架构设计笔记，分为：基础篇、数据库篇、缓存篇、消息队列篇、分布式服务篇、维护篇、实战篇。通过学习这份笔记，你可以系统的学会从零开始搭建亿级系统架构。其中每篇中又有具体的设计实施的笔记供大家参阅。

## 基础篇 ##

01.高并发系统:它的通用设计方法是什么？

![74339974e653b1377a616b9d3512380d.png][]

02.架构分层:我们为什么一定要这么做?

在系统从0到1的阶段,为了让系统快速上线,我们通常是不考虑分层的。但是随着业务越来越复杂，大量的代码纠缠在-起，会出现逻辑不清晰、各模块相互依赖、代码扩展性差、改动一个地方就牵一发而动全身等问题。

这时，对系统进行分层就会被提上日程，那么我们要如何对架构进行分层?架构分层和高并发架构设计又有什么关系呢?本节课，我将带你寻找答案。

![9edd8d1b1d20f539eacaab5d41766aa5.png][]

03.系统设计目标(一) :如何提升系统性能?

提到互联网系统设计,你可能听到最多的词儿就是“三高”，也就是“高并发”“高性能”"高可用” ，它们是互联网系统架构设计永恒的主题。在前两节课中，我带你了解了高并发系统设计的含义，意义以及分层设计原则，接下来,我想带你整体了解一下高并发系统设计的目标，然后在此基础上，进入我们今天的话题:如何提升系统的性能?

![493d4d0e7d437caea1b422c9e3fd3791.png][]

04.系统设计目标(二) :系统怎样做到高可用?

![aee8b9c44a0e9b5695852f9208e044f3.png][]

05.系统设计目标(三) :如何让系统易于扩展?

![d544d6ac0494fbd658b8b7ab09c9330e.png][]

![b0c4dbc8f09f7d4a7ce88134d8d96b23.png][]

## 数据库篇 ##

07.池化技术:如何减少频繁创建数据库连接的性能损耗?

从本节开始我将用一个虚拟的系统作为贯穿整个课程的主线，说明当这个系统到达某一个阶段时， 我们会遇到什么问题，然后要采用什么样的方案应对，应对的过程中又涉及哪些技术点。通过这样的讲述方式，力求以案例引出问题,能够让你了解遇到不同问题时,解决思路是怎样的，当然，在这个过程中，我希望你能多加思考,然后将学到的知识活学活用到实际的项目中。

![2b89f7255ed1a6aef3354c8a6dcaf878.png][]

08.数据库优化方案(一) :查询请求增加时，如何做主从分离?

![243185aa9fc3af25f9b0df0c2e1ca4c8.png][]

![55a348ffb54ce90e20c05802242da956.png][]

09.数据库优化方案(二) : 写入数据量增加时，如何实现分库分表?

![04963e72d5b9438d7c4fe8017630e8ff.png][]

10.发号器:如何保证分库分表后ID的全局唯一性?

![43f7e79138be4e42ae72dd948f04cbbe.png][]

11. NoSQL:在高并发场景下，数据库和NoSQL如何做到互补?

![0e874dd57910f03bf40cfb5c348fbd4c.png][]

![6aab6dcac0f4a89070393617299c4826.png][]

## 缓存篇 ##

12.缓存:数据库成为瓶颈后，动态数据的查询要如何加速?

![518792e7c6c7ac6ef3dc0396af74875f.png][]

![b915cf24357a407c4c8d184d8705e6b7.png][]

13.缓存的使用姿势(一) :如何选择缓存的读写策略?

![86fd85214a0236cc1c811840ec909e0d.png][]

14.缓存的使用姿势(二) :缓存如何做到高可用?

前面几节课，我带你了解了缓存的原理、分类以及常用缓存的使用技巧。我们开始用缓存承担大部分的读压力，从而缓解数据库的查询压力，在提升性能的同时保证系统的稳定性。这时,你的电商系统整体的架构演变成下图的样子:

![06ffa0824a32682a1cada133f5f82847.png][]

![27b6b617fe22ab833ea22a5a4c2acac2.png][]

15.缓存的使用姿势(三) :缓存穿透了怎么办?

![8d17b7db9a232ef57100548c766f4ea3.png][]

![c719ede42adf4689f459e232ca5f2a20.png][]

16. CDN:静态资源如何加速?

![ff0e64479c7da6cd71ac52dd282905b2.png][]

## 消息队列篇 ##

17.消息队列:秒杀时如何处理每秒上万次的下单请求?

首先我就带你了解了高并发系统设计的三个目标:性能、可用性和可扩展性，而在提升系统性能方面，我们一直关注的是系统的查询性能。也用了很多的篇幅去讲解数据库的分布式改造，各类缓存的原理和使用技巧。究其原因在于,我们遇到的大部分场景都是读多写少，尤其是在-个系统的初级阶段。

![abd664f328a95ed68d29f0c7708c94a0.png][]

18.消息投递:如何保证消息仅仅被消费一次?

![631036d98f3174309a1234e974c3e385.png][]

19.消息队列:如何降低消息队列系统中消息的延迟?

![8e09f58df4b11e13fe467f8b9ba18647.png][]

## 分布式服务篇 ##

21.系统架构:每秒1万次请求的系统要做服务化拆分吗?

![f9ab84d0582e1d763e1e0775bcdef84c.png][]

22.微服务架构:微服务化后，系统架构要如何改造?

![04da5485e52900e47467864a90580efa.png][]

23. RPC框架: 10万QPS下如何实现毫秒级的服务调用?

![0d747547948d2ad663529c60aac3e86a.png][]

![2aa8b9d4bbcbbce345d11fd332383788.png][]

24.注册中心:分布式系统如何寻址?

![637e791e21e79edc12a6beba04a02ad4.png][]

25.分布式Trace:横跨几十个分布式组件的慢请求要如何排查?

![66dbc19b3441a19c5012e0544bc49e5d.png][]

26.负载均衡:怎样提升系统的横向扩展能力?

![94802bebd585eb2d5387fb0534ea27fa.png][]

27. API网关:系统的门面要如何做呢?

到目前为止，你的垂直电商系统在经过微服务化拆分之后,已经运行了一段时间了，系统的扩展性得到了很大的提升,也能够比较平稳地度过高峰期的流量了。

不过最近你发现，随着自己的电商网站知名度越来越高，系统迎来了一些“不速之客”,在凌晨的时候，系统中的搜索商品和用户接口的调用量，会有急剧的上升,持续一段时间之后又回归正常。

![57a347e4ae7814e2a0b8c642b7155927.png][]

28.多机房部署:跨地域的分布式系统如何做?

![b0afab27a08b5a40fca63a6a607c4b3c.png][]

29. Service Mesh:如何屏蔽服务化系统的服务治理细节?

![bce12b3bfb7808f03ab1f60b544617d0.png][]

## 维护篇 ##

30.给系统加上眼睛:服务端监控要怎么做?

在一个项目的生命周期里，运行维护占据着很大的比重，在重要性上,它几乎与项目研发并驾齐驱。而在系统运维过程中，能够及时地发现问题并解决问题，是每一个团队的本职工作。所以,你的垂直电商系统在搭建之初，运维团队肯定完成了对于机器CPU、内存、磁盘、网络等基础监控,期望能在出现问题时，及时地发现并且处理。你本以为万事大吉，却没想到系统在运行过程中，频频得到用户的投诉，原因是:

1.  使用的数据库主从延迟变长，导致业务功能上出现了问题;
2.  接口的响应时间变长，用户反馈商品页面出现空白页;
3.  系统中出现大量错误，影响了用户的正常使用。

![9e9868d4e0eb6aac8bcbf6c7f7c2cbed.png][]

31.应用性能管理:用户的使用体验应该如何监控?

![0b42ac5fc8e42328a5195fc26bc250bf.png][]

32.压力测试:怎样设计全链路压力测试平台?

![2ad4f8ff63506892fb0403fd2a823b60.png][]

![f7926c89668721f1a9324e55abf82fec.png][]

33.配置管理:成千上万的配置项要如何管理?

![5dbc16a910ee1ae691ed4cad3180cb75.png][]

34.降级熔断:如何屏蔽非核心系统故障的影响?

![2b225500c1baae0be3fca87742e309c4.png][]

35.流量控制:高并发系统中我们如何操纵流量?

![f3dbcf160cfcd50fcad27fbb75675737.png][]

## 实战篇 ##

37.计数系统设计(一 ) :面对海量数据的计数器要如何做?

![05f98c937d704e79edbfcd59ea6b9dfd.png][]

![0b8f39a809d8d1d23a6dc314d6be9d5f.png][]

38.计数系统设计(二) : 50万QPS下如何设计未读数系统?

在上一节课中我带你了解了如何设计一套支撑高并发访问和存储大数据量的通用计数系统,我们通过缓存技术、消息队列技术以及对于Redis的深度改造，就能够支撑万亿级计数数据存储以及每秒百万级别读取请求了。然而有一-类特殊的计数并不能完全使用我们提到的方案，那就是未读数。

![7fed009e0725c787c05e4838c1a37fad.png][]

39.信息流设计(一) :通用信息流系统的推模式要如何做?

![5f4aefae024efcbdca98ec0c3cd8dcdd.png][]

40.信息流设计(二) :通用信息流系统的拉模式要如何做?

![43d66d307f3e1972ceb23748d0b9cfba.png][]

[74339974e653b1377a616b9d3512380d.png]: https://img-blog.csdnimg.cn/img_convert/74339974e653b1377a616b9d3512380d.png
[9edd8d1b1d20f539eacaab5d41766aa5.png]: https://img-blog.csdnimg.cn/img_convert/9edd8d1b1d20f539eacaab5d41766aa5.png
[493d4d0e7d437caea1b422c9e3fd3791.png]: https://img-blog.csdnimg.cn/img_convert/493d4d0e7d437caea1b422c9e3fd3791.png
[aee8b9c44a0e9b5695852f9208e044f3.png]: https://img-blog.csdnimg.cn/img_convert/aee8b9c44a0e9b5695852f9208e044f3.png
[d544d6ac0494fbd658b8b7ab09c9330e.png]: https://img-blog.csdnimg.cn/img_convert/d544d6ac0494fbd658b8b7ab09c9330e.png
[b0c4dbc8f09f7d4a7ce88134d8d96b23.png]: https://img-blog.csdnimg.cn/img_convert/b0c4dbc8f09f7d4a7ce88134d8d96b23.png
[2b89f7255ed1a6aef3354c8a6dcaf878.png]: https://img-blog.csdnimg.cn/img_convert/2b89f7255ed1a6aef3354c8a6dcaf878.png
[243185aa9fc3af25f9b0df0c2e1ca4c8.png]: https://img-blog.csdnimg.cn/img_convert/243185aa9fc3af25f9b0df0c2e1ca4c8.png
[55a348ffb54ce90e20c05802242da956.png]: https://img-blog.csdnimg.cn/img_convert/55a348ffb54ce90e20c05802242da956.png
[04963e72d5b9438d7c4fe8017630e8ff.png]: https://img-blog.csdnimg.cn/img_convert/04963e72d5b9438d7c4fe8017630e8ff.png
[43f7e79138be4e42ae72dd948f04cbbe.png]: https://img-blog.csdnimg.cn/img_convert/43f7e79138be4e42ae72dd948f04cbbe.png
[0e874dd57910f03bf40cfb5c348fbd4c.png]: https://img-blog.csdnimg.cn/img_convert/0e874dd57910f03bf40cfb5c348fbd4c.png
[6aab6dcac0f4a89070393617299c4826.png]: https://img-blog.csdnimg.cn/img_convert/6aab6dcac0f4a89070393617299c4826.png
[518792e7c6c7ac6ef3dc0396af74875f.png]: https://img-blog.csdnimg.cn/img_convert/518792e7c6c7ac6ef3dc0396af74875f.png
[b915cf24357a407c4c8d184d8705e6b7.png]: https://img-blog.csdnimg.cn/img_convert/b915cf24357a407c4c8d184d8705e6b7.png
[86fd85214a0236cc1c811840ec909e0d.png]: https://img-blog.csdnimg.cn/img_convert/86fd85214a0236cc1c811840ec909e0d.png
[06ffa0824a32682a1cada133f5f82847.png]: https://img-blog.csdnimg.cn/img_convert/06ffa0824a32682a1cada133f5f82847.png
[27b6b617fe22ab833ea22a5a4c2acac2.png]: https://img-blog.csdnimg.cn/img_convert/27b6b617fe22ab833ea22a5a4c2acac2.png
[8d17b7db9a232ef57100548c766f4ea3.png]: https://img-blog.csdnimg.cn/img_convert/8d17b7db9a232ef57100548c766f4ea3.png
[c719ede42adf4689f459e232ca5f2a20.png]: https://img-blog.csdnimg.cn/img_convert/c719ede42adf4689f459e232ca5f2a20.png
[ff0e64479c7da6cd71ac52dd282905b2.png]: https://img-blog.csdnimg.cn/img_convert/ff0e64479c7da6cd71ac52dd282905b2.png
[abd664f328a95ed68d29f0c7708c94a0.png]: https://img-blog.csdnimg.cn/img_convert/abd664f328a95ed68d29f0c7708c94a0.png
[631036d98f3174309a1234e974c3e385.png]: https://img-blog.csdnimg.cn/img_convert/631036d98f3174309a1234e974c3e385.png
[8e09f58df4b11e13fe467f8b9ba18647.png]: https://img-blog.csdnimg.cn/img_convert/8e09f58df4b11e13fe467f8b9ba18647.png
[f9ab84d0582e1d763e1e0775bcdef84c.png]: https://img-blog.csdnimg.cn/img_convert/f9ab84d0582e1d763e1e0775bcdef84c.png
[04da5485e52900e47467864a90580efa.png]: https://img-blog.csdnimg.cn/img_convert/04da5485e52900e47467864a90580efa.png
[0d747547948d2ad663529c60aac3e86a.png]: https://img-blog.csdnimg.cn/img_convert/0d747547948d2ad663529c60aac3e86a.png
[2aa8b9d4bbcbbce345d11fd332383788.png]: https://img-blog.csdnimg.cn/img_convert/2aa8b9d4bbcbbce345d11fd332383788.png
[637e791e21e79edc12a6beba04a02ad4.png]: https://img-blog.csdnimg.cn/img_convert/637e791e21e79edc12a6beba04a02ad4.png
[66dbc19b3441a19c5012e0544bc49e5d.png]: https://img-blog.csdnimg.cn/img_convert/66dbc19b3441a19c5012e0544bc49e5d.png
[94802bebd585eb2d5387fb0534ea27fa.png]: https://img-blog.csdnimg.cn/img_convert/94802bebd585eb2d5387fb0534ea27fa.png
[57a347e4ae7814e2a0b8c642b7155927.png]: https://img-blog.csdnimg.cn/img_convert/57a347e4ae7814e2a0b8c642b7155927.png
[b0afab27a08b5a40fca63a6a607c4b3c.png]: https://img-blog.csdnimg.cn/img_convert/b0afab27a08b5a40fca63a6a607c4b3c.png
[bce12b3bfb7808f03ab1f60b544617d0.png]: https://img-blog.csdnimg.cn/img_convert/bce12b3bfb7808f03ab1f60b544617d0.png
[9e9868d4e0eb6aac8bcbf6c7f7c2cbed.png]: https://img-blog.csdnimg.cn/img_convert/9e9868d4e0eb6aac8bcbf6c7f7c2cbed.png
[0b42ac5fc8e42328a5195fc26bc250bf.png]: https://img-blog.csdnimg.cn/img_convert/0b42ac5fc8e42328a5195fc26bc250bf.png
[2ad4f8ff63506892fb0403fd2a823b60.png]: https://img-blog.csdnimg.cn/img_convert/2ad4f8ff63506892fb0403fd2a823b60.png
[f7926c89668721f1a9324e55abf82fec.png]: https://img-blog.csdnimg.cn/img_convert/f7926c89668721f1a9324e55abf82fec.png
[5dbc16a910ee1ae691ed4cad3180cb75.png]: https://img-blog.csdnimg.cn/img_convert/5dbc16a910ee1ae691ed4cad3180cb75.png
[2b225500c1baae0be3fca87742e309c4.png]: https://img-blog.csdnimg.cn/img_convert/2b225500c1baae0be3fca87742e309c4.png
[f3dbcf160cfcd50fcad27fbb75675737.png]: https://img-blog.csdnimg.cn/img_convert/f3dbcf160cfcd50fcad27fbb75675737.png
[05f98c937d704e79edbfcd59ea6b9dfd.png]: https://img-blog.csdnimg.cn/img_convert/05f98c937d704e79edbfcd59ea6b9dfd.png
[0b8f39a809d8d1d23a6dc314d6be9d5f.png]: https://img-blog.csdnimg.cn/img_convert/0b8f39a809d8d1d23a6dc314d6be9d5f.png
[7fed009e0725c787c05e4838c1a37fad.png]: https://img-blog.csdnimg.cn/img_convert/7fed009e0725c787c05e4838c1a37fad.png
[5f4aefae024efcbdca98ec0c3cd8dcdd.png]: https://img-blog.csdnimg.cn/img_convert/5f4aefae024efcbdca98ec0c3cd8dcdd.png
[43d66d307f3e1972ceb23748d0b9cfba.png]: https://img-blog.csdnimg.cn/img_convert/43d66d307f3e1972ceb23748d0b9cfba.png