高并发系统设计的15个锦囊

谁践踏了优雅 2023-09-27 14:07 9阅读 0赞

### 前言 ###

大家好。

记得很久之前，去面试过**字节跳动**。被三面的面试官问了一道场景设计题目：**如何设计一个高并发系统**。当时我回答得比较粗糙，最近回想起来，所以整理了设计高并发系统的15个锦囊，相信大家看完会有帮助的。

![5877f16a19c70ccc67dc8bfba3a808eb.png][]

### 如何理解高并发系统 ###

所谓设计**高并发**系统，就是设计一个系统，保证它**整体可用**的同时，能够**处理很高的并发用户请求**，能够承受**很大的流量冲击**。

我们要设计高并发的系统，那就需要处理好一些常见的系统瓶颈问题，如**内存不足、磁盘空间不足，连接数不够，网络宽带不够**等等，以应对突发的流量洪峰。

### 1. 分而治之，横向扩展 ###

如果你**只部署一个应用，只部署一台服务器**，那能扛住的流量请求是非常有限的。并且，单体的应用，有单点的风险，如果它挂了，那服务就不可用了。

因此，设计一个高并发系统，我们可以**分而治之，横向扩展**。也就是说，采用分布式部署的方式，部署多台服务器，把流量分流开，让每个服务器都承担一部分的并发和流量，提升**整体系统的并发能力**。

### 2. 微服务拆分（系统拆分） ###

要提高系统的吞吐，提高系统的处理并发请求的能力。除了采用**分布式部署的方式**外，还可以做**微服务拆分**，这样就可以达到分摊请求流量的目的，提高了并发能力。

所谓的**微服务拆分**，其实就是把一个单体的应用，按功能单一性，拆分为多个服务模块。**比如一个电商系统，拆分为用户系统、订单系统、商品系统等等**。

![e74dfd27d965259b7bec5fb77e623d4e.png][]

### 3. 分库分表 ###

当业务量暴增的话，MySQL单机**磁盘容量会撑爆**。并且，我们知道数据库连接数是有限的。**在高并发的场景下**，大量请求访问数据库，`MySQL`单机是扛不住的！高并发场景下，会出现`too many connections`报错。

所以高并发的系统，**需要考虑拆分为多个数据库，来扛住高并发的毒打**。而假如你的单表数据量非常大，存储和查询的性能就会遇到瓶颈了，如果你做了很多优化之后还是无法提升效率的时候，就需要考虑做**分表**了。一般千万级别数据量，就需要**分表**，每个表的数据量少一点，提升SQL查询性能。

当面试官问要求你设计一个高并发系统的时候，一般都要说到**分库分表**这个点。

之前写了分库分表15连问，为了应对面试官追问到底，大家可以顺便复习一下分库分表的相关经典面试题哈，可以看我这篇文章：[分库分表经典15连问][15]

### 4. 池化技术 ###

在高并发的场景下，**数据库连接数**可能成为瓶颈，因为连接数是有限的。

我们的请求调用数据库时，都会先获取数据库的连接，然后依靠这个连接来查询数据，搞完收工，最后关闭连接，释放资源。如果我们不用数据库连接池的话，每次执行`SQL`，都要创建连接和销毁连接，这就会导致每个查询请求都变得更慢了，相应的，系统处理用户请求的能力就降低了。

因此，需要使用池化技术，即**数据库连接池、HTTP 连接池、Redis 连接池**等等。使用数据库连接池，可以避免每次查询都新建连接，减少不必要的资源开销，通过复用连接池，**提高系统处理高并发请求的能力**。

同理，我们使用线程池，也能**让任务并行处理，更高效地完成任务**。大家可以看下我之前线程池的这篇文章，到时候面试官问到这块时，刚好可以扩展开来讲

*  [面试必备：Java线程池解析][Java]
 *  [细数线程池的10个坑][10]

### 5. 主从分离 ###

通常来说，一台单机的MySQL服务器，可以支持`500`左右的`TPS`和`10000`左右的`QPS`，即单机支撑的**请求访问是有限**的。因此你做了分布式部署，部署了多台机器，部署了主数据库、从数据库。

但是，如果双十一搞活动，流量肯定会猛增的。如果所有的查询请求，都走主库的话，主库肯定扛不住，因为查询请求量是非常非常大的。因此一般都要求做**主从分离**，然后实时性要求不高的读请求，都去读从库，**写的请求或者实时性要求高的请求，才走主库**。这样就很好保护了主库，也提高了系统的吞吐。

当然，如果回答了主从分离，面试官可能扩展开问你**主从复制原理，问你主从延迟问题**等等，这块大家需要**全方位复习好**哈。可以去看看我之前的这篇文章

[面试必备：聊聊MySQL的主从][MySQL]

### 6. 使用缓存 ###

无论是操作系统，浏览器，还是一些复杂的中间件，你都可以看到缓存的影子。我们使用缓存，主要是提升系统接口的性能，这样高并发场景，你的系统就可以支持更多的用户同时访问。

常用的缓存包括：`Redis`缓存，`JVM`本地缓存，`memcached`等等。就拿`Redis`来说，它单机就能轻轻松松应对几万的并发，你读场景的业务，可以用缓存来扛高并发。

缓存虽然用得爽，但是要**注意缓存使用的一些问题**：

*  缓存与数据库的一致性问题
 *  缓存雪崩
 *  缓存穿透
 *  缓存击穿

如果大家打算使用`Redis`的话，需要知道一些注意点，可以看下我之前的这篇文章哈，挺好的。[使用Redis，你必须知道的21个注意要点][Redis_21]

### 7. CDN，加速静态资源访问 ###

商品图片，`icon`等等静态资源，可以对页面做**静态化处理，减少访问服务端的请求**。如果用户分布在全国各地，有的在上海，有的在深圳，地域相差很远，网速也各不相同。为了让用户最快访问到页面，可以使用`CDN`。`CDN`可以让用户就近获取所需内容。

什么是CDN？

> Content Delivery Network/Content Distribution Network,翻译过来就是内容分发网络，它表示将静态资源分发到位于多个地理位置机房的服务器，可以做到数据就近访问，加速了静态资源的访问速度，因此让系统更好地处理别的动态请求。

### 8. 消息队列，削锋 ###

我们搞一些双十一、双十二等运营活动时，需要**避免流量暴涨，打垮应用系统的风险**。因此一般会引入消息队列，来应对**高并发的场景**。

![2d5dc7c975847d690b65625c25a885e6.png][]

假设你的应用系统每秒最多可以处理`2k`个请求，每秒却有`5k`的请求过来，可以引入消息队列，应用系统每秒从消息队列拉`2k`请求处理得了。

有些伙伴担心这样可能会出现**消息积压**的问题：

*  首先，搞一些运营活动，不会每时每刻都那么多请求过来你的系统（**除非有人恶意攻击**），高峰期过去后，积压的请求可以慢慢处理；
 *  其次，如果消息队列长度超过最大数量，可以直接抛弃用户请求或跳转到错误页面；

### 9. ElasticSearch ###

`Elasticsearch`，大家都使用得比较多了吧，**一般搜索功能都会用到它**。它是一个分布式、高扩展、高实时的搜索与数据分析引擎，简称为`ES`。

我们在聊高并发，为啥聊到`ES`呢？因为`ES`可以扩容方便，天然支撑高并发。**当数据量大的时候，不用动不动就加机器扩容，分库等等**，可以考虑用`ES`来支持简单的查询搜索、统计类的操作。

### 10. 降级熔断 ###

**熔断降级**是保护系统的一种手段。当前互联网系统一般都是分布式部署的。而分布式系统中偶尔会出现某个基础服务不可用，最终导致整个系统不可用的情况, 这种现象被称为**服务雪崩效应**。

比如分布式调用链路`A->B->C....`，下图所示：

![388c1a50f82a0461fb4a7a3fcd8228ed.png][]

> 如果服务`C`出现问题，比如是因为慢`SQL`导致调用缓慢，那将导致`B`也会延迟，从而`A`也会延迟。堵住的`A`请求会消耗占用系统的线程、IO、CPU等资源。当请求`A`的服务越来越多，占用计算机的资源也越来越多，最终会导致系统瓶颈出现，造成其他的请求同样不可用，最后导致业务系统崩溃。

为了应对服务雪崩, 常见的做法是**熔断和降级**。最简单是加开关控制，当下游系统出问题时，开关打开降级，不再调用下游系统。还可以选用开源组件`Hystrix`来支持。

你要保证设计的系统能应对**高并发场景**，那肯定要考虑**熔断降级**逻辑进来。

### 11. 限流 ###

限流也是我们应对高并发的一种方案。我们当然希望，在高并发大流量过来时，系统能全部请求都正常处理。但是有时候没办法，系统的CPU、网络带宽、内存、线程等资源都是有限的。因此，我们要考虑限流。

如果你的系统每秒扛住的请求是一千，**如果一秒钟来了十万请求呢**？换个角度就是说，高并发的时候，流量洪峰来了，超过系统的承载能力，怎么办呢？

这时候，我们可以采取限流方案。就是为了保护系统，多余的请求，直接丢弃。

> **什么是限流**：在计算机网络中，限流就是控制网络接口发送或接收请求的速率，它可防止DoS攻击和限制Web爬虫。限流，也称流量控制。是指系统在面临高并发，或者大流量请求的情况下，限制新的请求对系统的访问，从而保证系统的稳定性。

可以使用`Guava`的`RateLimiter`单机版限流，也可以使用`Redis`分布式限流，还可以使用阿里开源组件`sentinel`限流。

面试的时候，你说到限流这块的话？面试官很大概率会问你限流的算法，因此，大家在准备面试的时候，需要复习一下这几种经典的限流算法哈，可以看下我之前的这篇文章，[面试必备：4种经典限流算法讲解][4]

### 12. 异步 ###

> 回忆一下什么是同步，什么是异步呢？以**方法调用**为例，它代表**调用方要阻塞等待被调用方法中的逻辑执行完成**。这种方式下，当被调用方法响应时间较长时，会造成调用方长久的阻塞，在高并发下会造成整体系统性能下降甚至发生雪崩。异步调用恰恰相反，调用方不需要等待方法逻辑执行完成就可以返回执行其他的逻辑，在被调用方法执行完毕后再通过回调、事件通知等方式将结果反馈给调用方。

因此，设计一个高并发的系统，**需要在恰当的场景使用异步**。如何使用异步呢？后端可以借用消息队列实现。比如在海量秒杀请求过来时，先放到消息队列中，快速响应用户，告诉用户请求正在处理中，这样就可以释放资源来处理更多的请求。秒杀请求处理完后，通知用户秒杀抢购成功或者失败。

### 13. 接口的常规优化 ###

设计一个高并发的系统，需要设计接口的性能足够好，这样系统在相同时间，就可以处理更多的请求。当说到这里的话，可以跟面试官说说接口优化的一些方案了。大家可以看下我的这篇文章哈:[实战总结！18种接口优化方案的总结][18]

![661e4741b9f4c08398dc8c69d40963b0.png][]

### 14. 压力测试确定系统瓶颈 ###

设计高并发系统，离不开最重要的一环，**就是压力测试**。就是在系统上线前，需要对系统进行压力测试，测清楚你的系统支撑的最大并发是多少，确定系统的瓶颈点，让自己心里有底，做好预防措施。

压测完要分析整个调用链路，性能可能出现问题是网络层（如带宽）、Nginx层、服务层、还是数据路缓存等中间件等等。

`loadrunner`是一款不错的压力测试工具，`jmeter`则是接口性能测试工具，都可以来做下压测。

### 15. 应对突发流量峰值：扩容+切流量 ###

如果是突发的流量高峰，除了降级、限流保证系统不跨，我们可以采用这两种方案，保证系统尽可能服务用户请求：

*  扩容：**比如增加从库、提升配置的方式**，提升系统/组件的流量承载能力。比如增加`MySQL、Redis`从库来处理查询请求。
 *  切流量：**服务多机房部署**，如果高并发流量来了，把流量从一个机房切换到另一个机房。

### 参考与感谢 ###

*  极客时间高并发系统设计 40 问\[1\]

#### 参考资料 ####

\[1\]

极客时间高并发系统设计 40 问: *https://time.geekbang.org/column/article/192203*

> **以上文章来源于捡田螺的小男孩 ，作者捡田螺的小男孩**

[5877f16a19c70ccc67dc8bfba3a808eb.png]: https://img-blog.csdnimg.cn/img_convert/5877f16a19c70ccc67dc8bfba3a808eb.png
[e74dfd27d965259b7bec5fb77e623d4e.png]: https://img-blog.csdnimg.cn/img_convert/e74dfd27d965259b7bec5fb77e623d4e.png
[15]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247502983&idx=1&sn=47cc9079b01940cbb83d4f71972e5d20&chksm=cf2213aef8559ab845c5740abc98c335f0b040976bc39781ade95ea085cf32a183021a54ff36&token=1274856030&lang=zh_CN&scene=21#wechat_redirect
[Java]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247487945&idx=1&sn=447d2da258797de08eca329a2500d457&chksm=cf21cee0f85647f676dced72811b90bf7db7c898d2a90b7dc2195c5d6279c05d1b125d4b82a1&token=1976733249&lang=zh_CN&scene=21#wechat_redirect
[10]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247501030&idx=1&sn=0c0c8523d73d65ba7358856ea02fb5fc&chksm=cf221bcff85592d9556cb3735357b96baad9544c1b9c3149d0bffc290dedab32bb86d40e1075&token=1976733249&lang=zh_CN&scene=21#wechat_redirect
[MySQL]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247497982&idx=1&sn=bb589329cceb5462fc41f66ec63dbf56&chksm=cf2227d7f855aec16dd4d3b3425c0401850eeaf2c9cdc82e82722d38a00c24ee9ccfa3353774&token=1274856030&lang=zh_CN&scene=21#wechat_redirect
[Redis_21]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247488325&idx=1&sn=6d9bbe5bf2f2f2904755de5c786fb21b&chksm=cf21cc6cf856457a9d23b3e25ec48107a582e709f05964dfdb5ba77e9a239d8307334c485fdf&token=1371687559&lang=zh_CN&scene=21#wechat_redirect
[2d5dc7c975847d690b65625c25a885e6.png]: https://img-blog.csdnimg.cn/img_convert/2d5dc7c975847d690b65625c25a885e6.png
[388c1a50f82a0461fb4a7a3fcd8228ed.png]: https://img-blog.csdnimg.cn/img_convert/388c1a50f82a0461fb4a7a3fcd8228ed.png
[4]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247490393&idx=1&sn=98189caa486406f8fa94d84ba0667604&chksm=cf21c470f8564d665ce04ccb9dc7502633246da87a0541b07ba4ac99423b28ce544cdd6c036b&token=162724582&lang=zh_CN&scene=21#wechat_redirect
[18]: https://mp.weixin.qq.com/s?__biz=Mzg3NzU5NTIwNg==&mid=2247502660&idx=1&sn=17166646f82412cd81955930f799ab4e&chksm=cf22146df8559d7bcf9becd82e1d8006c35a781e5dbd0a79e0a9e121803ee40d6eae7ebd7ccb&token=1371687559&lang=zh_CN&scene=21#wechat_redirect
[661e4741b9f4c08398dc8c69d40963b0.png]: https://img-blog.csdnimg.cn/img_convert/661e4741b9f4c08398dc8c69d40963b0.png