京东出版！「亿级流量网站架构核心技术手册」超大型架构技术干货

痛定思痛。 2023-10-02 21:27 21阅读 0赞

前言：

相信大家都知道，说起亿万流量网站高性框架的设计方案，就能想到关键的两点，那就是高可用和高并发。而要谈对高并发和高可用有多熟悉，京东的大佬们还是有一定发言权，而作为京东高级工程师更是大佬级别。

而今天分享的正是京东十年开发经验工程师编写的：“亿级流量网站架构核心技术”。

笔记作者：京东高级工程师：大飞

笔记特点：条理清晰，含图像化，内容创新深奥却易懂。

笔记大致分为四部分∶概述、高可用原则、高并发原则、案例实战。从负载均衡、限流、降级、隔离、超时与重试、回滚机制、压测与预案、缓存、池化、异步化、扩容、队列等多方面详细地介绍了亿级流量网站的架构核心技术，相信大家看完能快速在实践中加以运用。

话不啰嗦直上笔记：

> 特别说明：由于笔记内容过于详细，苦于篇幅有限，下面只能将这份文档的内容以图片的形式展现出来。

## 第1 部分 概述： ##

1. 交易型系统设计的一些原则

2. 高并发原则

![2659d8e3eb6df0b07ce6a30d4a046f2e.png][]

*  无状态
 *  拆分
 *  服务化
 *  消息队列

![3a9a6e3e0bedf42270d02960eacf32ff.png][]

*  数据异构
 *  缓存银弹
 *  并发化

![55a92b9e8b12116828496c6937bd1d5f.png][]

3. 高可用原则：

*  降级
 *  限流

![60beec3142744977689eb0fb6c214129.png][]

*  切流量
 *  可回滚

![52d7b518cbb9d240269b899a6d7c575f.png][]

4.业务设计原则：

*  防重设计
 *  幂等设计
 *  流程可定义
 *  状态与状态机
 *  后台系统操作可反馈
 *  后台系统审批化
 *  文档和注释
 *  备份

![e27bbec7bc0acf664b197c556671eaa3.png][]

## 第2 部分 高可用： ##

1.负载均衡与反向代理：

*  upstream配置
 *  负载均衡算法
 *  失败重试
 *  健康检查

![5c1bb1724dfba169d0efd63514ceeac3.png][]

*  其他配置
 *  长连接
 *  H T T P反向代理示例
 *  H T T P动态负载均衡
 *  Nginx四层负载均衡

![90bdbc99e3032b8f05248554958e8dba.png][]

2. 隔离术：

*  线程隔离
 *  进程隔离
 *  集群隔离
 *  机房隔离
 *  读写隔离

![7b67c20c3577ec9c4d22ad7e94c60c20.png][]

*  动静隔离
 *  爬虫隔离
 *  热点隔离
 *  资源隔离

![b847313d5e1e6ac5b184c59bdec8299e.png][]

*  使用Hystrix实现隔离
 *  基于Servlet 3实现请求隔离

![d2ebfb4d5efc6b0d8bb3c46dda378fc1.png][]

3.限流详解：

*  限流算法
 *  应用级限流
 *  分布式限流
 *  接入层限流

![5e6e0d5951c860e3591c0f5450218aeb.png][]

4.降级特技：

*  降级预案
 *  自动开关降级
 *  人工开关降级
 *  读服务降级
 *  写服务降级
 *  多级降级

![1208fe78a2f19a867f8b400c5d160160.png][]

*  配置中心
 *  使用Hystrix实现降级
 *  使用Hystrix实现熔断

![81097cfc37a83ee49f59c8e5dd177fc3.png][]

5. 超时与重试机制：

*  简介
 *  代理层超时与重试
 *  Web容器超时
 *  中间件客户端超时与重试
 *  数据库客户端超时

![d9c67503319d882e749518aa474c09ed.png][]

*  NoSQL客户端超时
 *  业务超时
 *  前端Ajax超时
 *  总结
 *  参考资料

![cae99d2c94f809b82b9d62075c3e437a.png][]

6.回滚机制：

*  事务回滚
 *  代码库回滚
 *  部署版本回滚
 *  数据版本回滚
 *  静态资源版本回滚

![dd33cc20b0819335fc48aafb8f39d6e6.png][]

7. 压测与预案：

*  系统压测
 *  系统优化和容灾
 *  应急预案

![7c94bd20e9548b2cf204189766cc5b8b.png][]

## 第3 部分 高并发： ##

1. 应用级缓存：

*  缓存简介
 *  缓存命中率
 *  缓存回收策略
 *  Java缓存类型

![4267653420966255585fa8e46840f7bc.png][]

*  应用级缓存示例
 *  缓存使用模式实践
 *  性能测试
 *  参考资料

![92951e4da96799679ea921d87981e4a4.png][]

2. H T T P缓存：

*  H T T P缓存
 *  H T T PClient客户端缓存
 *  Nginx H T T P缓存设置
 *  Nginx代理层缓存

![e63b5235329656e54879e3c9fb7b9eff.png][]

3.多级缓存：

*  多级缓存介绍
 *  如何缓存数据
 *  分布式缓存与应用负载均衡
 *  热点数据与更新缓存
 *  更新缓存与原子性
 *  缓存崩溃与快速修复

![d22db13907392e56a2c1264ac42b74bd.png][]

4.连接池线程池详解：

*  数据库连接池
 *  H T T PClient连接池
 *  线程池

![07185aa3989f35fdd17e94bd0d42c417.png][]

5.异步并发实战：

*  同步阻塞调用
 *  异步Future
 *  异步Callback
 *  异步编排CompletableFuture
 *  异步Web服务实现
 *  请求缓存
 *  请求合并

![4e761b6fcfb8cd2f959357b1bfb449ea.png][]

6.如何扩容：

*  单体应用垂直扩容
 *  单体应用水平扩容
 *  应用拆分
 *  数据库拆分

![50709ca6af2f4694e88d3284e40a9af3.png][]

*  数据库分库分表示例
 *  数据异构
 *  任务系统扩容

![028dead2a90a3f4c887f7ca8e8783b55.png][]

7. 队列术：

*  应用场景
 *  缓冲队列
 *  任务队列
 *  消息队列
 *  请求队列
 *  数据总线队列
 *  混合队列
 *  其他队列

![445214281b72f52af84a9829c98d9c6c.png][]

*  Disruptor+Redis队列
 *  下单系统水平可扩展架构
 *  基于Canal实现数据异构

![97c574074b889e911850258bd4f08d44.png][]

## 第4 部分 案例： ##

1. 构建需求响应式亿级商品详情页：

*  商品详情页是什么
 *  商品详情页前端结构
 *  我们的性能数据
 *  单品页流量特点

![077f8724f7fe2cbe99cb894646c4e173.png][]

*  单品页技术架构发展
 *  详情页架构设计原则
 *  遇到的一些坑和问题

![411065e44b23e21fa6216b12769b03f1.png][]

2.京东商品详情页服务闭环实践：

*  为什么需要统一服务
 *  整体架构
 *  一些架构思路和总结
 *  引入Nginx接入层
 *  前端业务逻辑后置
 *  前端接口服务端聚合
 *  服务隔离

![f46f1c0d6c78860c4198908a01864cd9.png][]

3.使用OpenResty开发高性能Web应用：

*  OpenResty简介
 *  基于OpenResty的常用架构模式
 *  如何使用OpenResty开发Web应用
 *  基于OpenResty的常用功能总结

![430e663d287dd19d57c687f35e711379.png][]

4.应用数据静态化架构高性能单页Web应用：

*  整体架构
 *  数据和模板动态化
 *  多版本机制
 *  异常问题

![35b58bdafeeef032856decaaecad7bc6.png][]

5. 使用OpenResty开发Web服务：

*  架构
 *  单DB架构
 *  实现

![371af67479a32382d3618976cf19fb6b.png][]

6.使用OpenResty开发商品详情页：

*  技术选型
 *  核心流程
 *  项目搭建
 *  数据存储实现
 *  动态服务实现
 *  前端展示实现

![3d7c853102522cdd63ee4ccce23fa3a1.png][]

总结:“亿级流量网站架构核心技术”的重要性，我想不说大家也知道了，无论以后是面试还是进阶架构师这都是一个加分项，能把面试成功的几率提升一个档次。

![ce3afac55b3045e9a9827bf68bc7fb66.jpeg][]

[2659d8e3eb6df0b07ce6a30d4a046f2e.png]: https://img-blog.csdnimg.cn/img_convert/2659d8e3eb6df0b07ce6a30d4a046f2e.png
[3a9a6e3e0bedf42270d02960eacf32ff.png]: https://img-blog.csdnimg.cn/img_convert/3a9a6e3e0bedf42270d02960eacf32ff.png
[55a92b9e8b12116828496c6937bd1d5f.png]: https://img-blog.csdnimg.cn/img_convert/55a92b9e8b12116828496c6937bd1d5f.png
[60beec3142744977689eb0fb6c214129.png]: https://img-blog.csdnimg.cn/img_convert/60beec3142744977689eb0fb6c214129.png
[52d7b518cbb9d240269b899a6d7c575f.png]: https://img-blog.csdnimg.cn/img_convert/52d7b518cbb9d240269b899a6d7c575f.png
[e27bbec7bc0acf664b197c556671eaa3.png]: https://img-blog.csdnimg.cn/img_convert/e27bbec7bc0acf664b197c556671eaa3.png
[5c1bb1724dfba169d0efd63514ceeac3.png]: https://img-blog.csdnimg.cn/img_convert/5c1bb1724dfba169d0efd63514ceeac3.png
[90bdbc99e3032b8f05248554958e8dba.png]: https://img-blog.csdnimg.cn/img_convert/90bdbc99e3032b8f05248554958e8dba.png
[7b67c20c3577ec9c4d22ad7e94c60c20.png]: https://img-blog.csdnimg.cn/img_convert/7b67c20c3577ec9c4d22ad7e94c60c20.png
[b847313d5e1e6ac5b184c59bdec8299e.png]: https://img-blog.csdnimg.cn/img_convert/b847313d5e1e6ac5b184c59bdec8299e.png
[d2ebfb4d5efc6b0d8bb3c46dda378fc1.png]: https://img-blog.csdnimg.cn/img_convert/d2ebfb4d5efc6b0d8bb3c46dda378fc1.png
[5e6e0d5951c860e3591c0f5450218aeb.png]: https://img-blog.csdnimg.cn/img_convert/5e6e0d5951c860e3591c0f5450218aeb.png
[1208fe78a2f19a867f8b400c5d160160.png]: https://img-blog.csdnimg.cn/img_convert/1208fe78a2f19a867f8b400c5d160160.png
[81097cfc37a83ee49f59c8e5dd177fc3.png]: https://img-blog.csdnimg.cn/img_convert/81097cfc37a83ee49f59c8e5dd177fc3.png
[d9c67503319d882e749518aa474c09ed.png]: https://img-blog.csdnimg.cn/img_convert/d9c67503319d882e749518aa474c09ed.png
[cae99d2c94f809b82b9d62075c3e437a.png]: https://img-blog.csdnimg.cn/img_convert/cae99d2c94f809b82b9d62075c3e437a.png
[dd33cc20b0819335fc48aafb8f39d6e6.png]: https://img-blog.csdnimg.cn/img_convert/dd33cc20b0819335fc48aafb8f39d6e6.png
[7c94bd20e9548b2cf204189766cc5b8b.png]: https://img-blog.csdnimg.cn/img_convert/7c94bd20e9548b2cf204189766cc5b8b.png
[4267653420966255585fa8e46840f7bc.png]: https://img-blog.csdnimg.cn/img_convert/4267653420966255585fa8e46840f7bc.png
[92951e4da96799679ea921d87981e4a4.png]: https://img-blog.csdnimg.cn/img_convert/92951e4da96799679ea921d87981e4a4.png
[e63b5235329656e54879e3c9fb7b9eff.png]: https://img-blog.csdnimg.cn/img_convert/e63b5235329656e54879e3c9fb7b9eff.png
[d22db13907392e56a2c1264ac42b74bd.png]: https://img-blog.csdnimg.cn/img_convert/d22db13907392e56a2c1264ac42b74bd.png
[07185aa3989f35fdd17e94bd0d42c417.png]: https://img-blog.csdnimg.cn/img_convert/07185aa3989f35fdd17e94bd0d42c417.png
[4e761b6fcfb8cd2f959357b1bfb449ea.png]: https://img-blog.csdnimg.cn/img_convert/4e761b6fcfb8cd2f959357b1bfb449ea.png
[50709ca6af2f4694e88d3284e40a9af3.png]: https://img-blog.csdnimg.cn/img_convert/50709ca6af2f4694e88d3284e40a9af3.png
[028dead2a90a3f4c887f7ca8e8783b55.png]: https://img-blog.csdnimg.cn/img_convert/028dead2a90a3f4c887f7ca8e8783b55.png
[445214281b72f52af84a9829c98d9c6c.png]: https://img-blog.csdnimg.cn/img_convert/445214281b72f52af84a9829c98d9c6c.png
[97c574074b889e911850258bd4f08d44.png]: https://img-blog.csdnimg.cn/img_convert/97c574074b889e911850258bd4f08d44.png
[077f8724f7fe2cbe99cb894646c4e173.png]: https://img-blog.csdnimg.cn/img_convert/077f8724f7fe2cbe99cb894646c4e173.png
[411065e44b23e21fa6216b12769b03f1.png]: https://img-blog.csdnimg.cn/img_convert/411065e44b23e21fa6216b12769b03f1.png
[f46f1c0d6c78860c4198908a01864cd9.png]: https://img-blog.csdnimg.cn/img_convert/f46f1c0d6c78860c4198908a01864cd9.png
[430e663d287dd19d57c687f35e711379.png]: https://img-blog.csdnimg.cn/img_convert/430e663d287dd19d57c687f35e711379.png
[35b58bdafeeef032856decaaecad7bc6.png]: https://img-blog.csdnimg.cn/img_convert/35b58bdafeeef032856decaaecad7bc6.png
[371af67479a32382d3618976cf19fb6b.png]: https://img-blog.csdnimg.cn/img_convert/371af67479a32382d3618976cf19fb6b.png
[3d7c853102522cdd63ee4ccce23fa3a1.png]: https://img-blog.csdnimg.cn/img_convert/3d7c853102522cdd63ee4ccce23fa3a1.png
[ce3afac55b3045e9a9827bf68bc7fb66.jpeg]: https://img-blog.csdnimg.cn/ce3afac55b3045e9a9827bf68bc7fb66.jpeg