日均数十亿访问，个推API网关如何架构？

喜欢ヅ旅行 2024-02-21 07:30 63阅读 0赞

### 说在前面 ###

在40岁老架构师 尼恩的**读者交流群**(50+)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、滴滴的面试资格。

最近，尼恩指导一个小伙伴简历，写了一个《**高并发网关项目**》，此项目帮这个小伙拿到 **字节/阿里/微博/汽车之家** 面邀， 所以说，这是一个牛逼的项目。

为了帮助大家拿到更多面试机会，拿到更多大厂offer。

尼恩决定：给大家出一章视频介绍这个项目的架构和实操，《33章：10Wqps 高并发 Netty网关架构与实操》，预计月底发布。然后，提供一对一的简历指导，让你简历金光闪闪、脱胎换骨。

《33章：10Wqps 高并发 Netty网关架构与实操》 海报如下：

![bab3c6c08da54f04841cf437267d2717.png][]

配合《33章：10Wqps 高并发 Netty网关架构与实操》， 尼恩会梳理几个工业级、生产级**网关案例**，作为架构素材、设计的素材。

前面梳理了

*  《[工业级Netty网关，京东是如何架构的？][Netty]》
 *  《[2亿用户，B站API网关如何架构？][2_B_API]》
 *  《[100万级连接，石墨文档WebSocket网关如何架构？][100_WebSocket]》
 *  《[单体120万连接，小爱网关如何架构？][120]》
 *  《[亿级长连接，淘宝接入层网关的架构设计][Link 1]》
 *  《[100万级连接，爱奇艺WebSocket网关如何架构][100_WebSocket 1]》
 *  《[日200亿次调用，喜马拉雅网关的架构设计][200]》
 *  《[千万级连接，知乎如何架构长连接网关？][Link 2]》
 *  《[日流量200亿，携程网关的架构设计][200 1]》

除了以上的9个案例，这里，尼恩又找到一个漂亮的生产级案例：《**日均数十亿访问，个推API网关如何架构？**》。

注意，这又一个非常 牛逼的工业级、生产级**网关案例**。

这些案例，并不是尼恩的原创。这些案例，仅仅是尼恩在《33章：10Wqps 高并发 Netty网关架构与实操》备课的过程中，在互联网查找资料的时候，收集起来的，供大家学习和交流使用。

> 《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》的PDF，请到公号【技术自由圈】获取

#### 文章目录 ####

*   *  说在前面
     *  日均数十亿访问，个推API网关如何架构？
     *  API网关之源起
     *  1、个推早期API网关
     *  2、个推自研API网关
     *   *  2.1 自研目标
         *  2.2 技术选型
         *  2.3 设计与实现
     *  个推 API 网关总结
     *  说在最后：有问题可以找老架构取经
     *  尼恩技术圣经系列PDF

### 日均数十亿访问，个推API网关如何架构？ ###

作者：个推服务端技术专家李白

近期，个推的服务端技术大师李白受邀参与了 SegmentFault D-Day 在线技术直播活动，与来自知名互联网公司后端技术专家们共同探讨了“后端架构的演变之路”。李白以“API 网关的演变之路”为主题，分享了**个推基于golang进行API网关建设的实践经验和深度思考**。

### API网关之源起 ###

API 网关是一种随着“微服务”理念而崛起的架构模式。

在微服务拆分过程中，庞大的单体应用和业务系统被拆分成许多微服务系统进行独立维护和部署，导致 API 数量大幅增加，API 治理的难度也逐渐加大。

同时，子系统通过 API 对外提供服务时，还存在通用能力重复建设的问题。**因此，使用API网关统一发布和管理API逐渐成为一种架构趋势。**

![388b8e41908946dd9a4ac45fc2053ca3.png][]

> **注意：请点击图像以查看清晰的视图！**

在个推，消息推送、金融风控等业务核心系统均采用微服务架构，部分系统也拥有自建的网关模块。随着各个系统之间的依赖关系日益增多，高效进行接口治理的需求日益迫切。因此，个推早期就引入了统一的 API 网关，以解决权限控制、流量控制、服务降级、灰度发布、版本管理等一系列问题。

### 1、个推早期API网关 ###

2015年，SpringCloud 的诞生极大促进了微服务架构的发展和流行。个推也是在这一时期，依赖于SpringCloud gateway构建了自己真正意义上的API网关。

SpringCloud 在生态系统方面相对友好，有许多可以即插即用的监控和容错组件，但由于**不支持流量和安全治理**，因此无法很好地满足公司后续进行 API 治理的需求；尤其是**个推后来建设数据中台，更亟需一个统一的API网关来承担数据中台的入口流量**。

此外，在开发语言上，SpringCloud 仅支持 Java，适用性有限，且存在性能不佳、运维难度大等问题。

因此，为了实现更强大的 API 治理能力、简化接入和运维方式，同时也为了更好地满足公司数据中台建设需求，个推决定自主研发 API 网关。

### 2、个推自研API网关 ###

#### 2.1 自研目标 ####

个推建设API网关的几个关键目标包括：

**1）要能够对API完整生命周期进行统一治理**

![ee2ae750a3e047acaffe4d65a0529585.png][]

> **注意：请点击图像以查看清晰的视图！**

例如，**在API设计上，要统一规范**，确保 API 具有归属服务和标签，实现 API 设计上的隔离；

设计完成后，能够直接进行调试，并自动生成测试代码；

发布时，对 API 流量进行精细化控制，**支持服务的灰度发布**；

在 API 运行过程中，全方位监控 API 调用情况并告警，对出现问题的服务能够**及时地熔断隔离**；下线后能够及时回收资源。

**2）需要有完善的功能组件，来处理再一次请求过程**

在整个请求链路中，我们设计实现了链路追踪、日志、鉴权、限流、熔断、插件等一系列核心功能。

![8e45c3a10d3f473bbcde3f5998dc824a.png][]

> **注意：请点击图像以查看清晰的视图！**

**3）保证“三高”的同时，用户迁移和接入要简单**

这意味着 API 网关易于运维和使用，提供各种指标检测功能，且**支持自动容错和弹性扩容**。

#### 2.2 技术选型 ####

基于以上的目标设计和技术调研之后，我们选择将 golang 作为自研 API 网关的主要开发语言。

选择 golang 的原因有：

\*\*1）\*\*个推在做多机房容灾建设和数据拆分迁移过程中，设计了gproxy-codis和gproxy-es，并已搭建了一套 proxy 集群来路由不同的用户。这些 proxy 运行良好，一些大的集群单机 QPS 超过 6W。在这些项目的开发过程中，我们积累了许多开发经验和基础组件，其中的许多轮子可以直接复用。

因此，**我们使用 golang 并基于现有的这些组件，开发一套 gproxy-http 相对轻松。**

**2）golang 语言本身就支持高并发，开发速度快，最重要的是节省机器成本**。

**3）作为云原生框架中使用最广泛的编程语言，golang 的技术沉淀也是为个推云原生建设铺路**。

#### 2.3 设计与实现 ####

确认目标和技术选型之后，接下来就是一些具体的设计与实现。

**1）整体架构**

个推API网关的整体架构设计，如图所示：

![ec806440e7be435caaf6d7fc1d160722.png][]

> **注意：请点击图像以查看清晰的视图！**

首先，这是一个**Web管理平台**，这个平台负责所有 API 的创建、发布以及后续管理，用户可以在上面进行相应的配置。

配置完成后，通知配置中心，网关就会定时拉取全量的 API 配置。

接下来是网关的核心组件，例如**插件引擎**，主要是执行配置的一些插件。

**转发引擎**也是API网关的核心模块，个推的转发引擎支持 http、grpc，还有个推自研的 gcf 协议，**在数据中台的业务场景下，也支持了 kafka 的数据推送能力。**

**2）插件服务**

从图中可以看到，个推 API 网关的整体架构中有一个独立的插件服务。

这个设计的主要原因是 golang 是类 C 语言，打包后是可执行文件。**由于 Golang 的原生插件是直接编译好的，它们不支持更新和卸载，因此也无法在界面上直接实现新增和更新插件的功能。**。

为了解决这个问题，我们选择使用 Java 来开发插件服务。借助 Java 的动态语言特性，我们可以灵活地支持插件的新增、更新和卸载。然而，网关通过 gRPC 与插件服务进行通信，这可能会导致一定的性能损耗。

为了尽可能减少这种性能损耗，我们将加密和特定序列化相关的插件都使用 Golang 的一个原生插件来完成。对于一些业务定制较强的组件，我们建议使用 Java 插件服务。这样，我们可以在保证性能的同时，也实现了插件的灵活新增、更新和卸载。

此外，我们还在考虑将部分 Java 插件服务迁移到 Golang，以进一步优化性能。这是因为 Golang 的并发性能和资源管理能力都相对较强，可以更好地支持高性能的 API 服务。但在这个过程中，我们也会充分考虑业务的定制性和稳定性，确保迁移的顺利进行。

**3）资源隔离**

资源隔离是实现系统高可用的常用手段，主要涉及集群和线程池的隔离。

**API网关主要支持服务集群隔离**，通过这种集群级别的隔离可以让上层支持多租户，如果再彻底一点，网关集群也可以在 LB 层面隔离出去。

另外，**服务的灰度发布也是通过网关这种集群隔离来实现**的。具体过程是，在升级时，用户可以在界面上配置流量转发规则和集群，通过流量回放，将部分测试流量导入到灰度集群，或把线上真实流量按比例转发给灰度集群，确保没有问题后再全量发布。

![10c62dcc660f4e3686f0d59134ed8735.png][]

> **注意：请点击图像以查看清晰的视图！**

**线程的隔离主要体现在数据服务上**，其主要功能是将**数据 API 化**。

这意味着通过简单的配置，在界面上就可以将 MySQL、ES、Hbase 的数据通过 API 提供出去，无需开发人员编写 CRUD 或客户端代码，非常便捷。

目前，个推数据中台业务场景的大部分流量都是请求数据服务，因此我们设计了**普通线程池、慢线程池和自定义配置的线程池等三类线程池**。

当请求时长超过慢阈值后，接口会被分配到慢线程池处理，防止慢请求拖垮整个服务。

**4）服务编排**

服务编排是 API 网关需要满足的常见需求之一，主要是**将多个 API 进行聚合调用，大幅度减少调用延迟**。

过去，这部分功能是在网关上实现的，网关支持的服务编排相对基础，能够支持 API 的并发聚合调用，不过，在处理复杂的业务组合，特别是涉及到事务的编排场景时，然而表现并不理想。

所以，将这部分功能独立出来，作为一个独立的服务，后续的链路网关将直接访问服务编排模块，从而保证网关整体保持相对轻量。

![7a63ca1e0cf1411fb7ac85d189fa82f0.png][]

> **注意：请点击图像以查看清晰的视图！**

**5）性能优化**

针对 API 网关的性能，我们进行了一系列压力测试和优化，例如，用开源函数替代或重写内部大量使用的序列化、加解密等函数；大量使用 Sync.Pool 复用对象，对其内部逻辑进行纯异步处理；自主研发 gnet，替换原生 net 框架，优化网络模型等。

从线上实际运行结果来看，**目前个推数据中台中的 API 平台每天调用量超过 10 亿次，单机 QPS 峰值在 2W 左右，整体性能损耗在 10%+，性能表现超过预期。**

**6）易用性设计**

通过上述插件机制、隔离手段和性能上的极致优化，我们确保建设的 API 网关平台整体是高可用且易扩展的。而平台搭建好后，还需便于用户接入和使用以及运维。

![ffe0f7aacdcd066aa6380435a3911220.png][]

因此，为了提升易用性，我们**选用了纯Web的界面设计，并内置了多个API模板**。用户只需执行简单的配置，便可生成一个 API，如接口授权有效期、QPS、限额等权限设置，都能通过可视化界面进行操作；创建完成后，用户还可以直接在界面上进行调试。

同时，在对外提供API的场景下，用户可以**批量导出某个服务下的API文档**，非常方便。个推API平台还实现了**监控和统计**的功能，例如提供 API 被调用的走势、整个服务中 API 调用量和错误统计等数据，对运营和研发人员十分友好。

### 个推 API 网关总结 ###

总的来看，个推 API 网关基于 golang 独立开发，实现全 Web 化配置，使得所有 API 接口标准化且可视化；除了满足网关的基本需求外，还支持插件热更新、多协议转换、数据推送、集群级别资源隔离等高级功能。

个推 API 网关不仅能够整合到系统微服务架构中，还可作为公司数据中台的流量入口，日均承担数十亿级的访问量。

### 说在最后：有问题可以找老架构取经 ###

架构之路，充满了坎坷。

架构和高级开发不一样 ， 架构问题是open/开放式的，架构问题是没有标准答案的。

正由于这样，很多小伙伴，尽管耗费很多精力，耗费很多金钱，但是，遗憾的是，**一生都没有完成架构升级**。

**所以，在架构升级/转型过程中，确实找不到有效的方案，可以来找40岁老架构尼恩求助**。

前段时间一个小伙伴，他是跨专业来做Java，现在面临转架构的难题，但是经过尼恩几轮指导，顺利拿到了**Java架构师+大数据架构师offer** 。所以，如果遇到职业不顺，找老架构师帮忙一下，就顺利多了。

### 尼恩技术圣经系列PDF ###

*  《[NIO圣经：一次穿透NIO、Selector、Epoll底层原理][NIO_NIO_Selector_Epoll]》
 *  《[Docker圣经：大白话说Docker底层原理，6W字实现Docker自由][Docker_Docker_6W_Docker]》
 *  《[K8S学习圣经：大白话说K8S底层原理，14W字实现K8S自由][K8S_K8S_14W_K8S]》
 *  《[SpringCloud Alibaba 学习圣经，10万字实现SpringCloud 自由][SpringCloud Alibaba _10_SpringCloud]》
 *  《[大数据HBase学习圣经：一本书实现HBase学习自由][HBase_HBase]》
 *  《[大数据Flink学习圣经：一本书实现大数据Flink自由][Flink_Flink]》
 *  《[响应式圣经：10W字，实现Spring响应式编程自由][10W_Spring]》
 *  《[Go学习圣经：Go语言实现高并发CRUD业务开发][Go_Go_CRUD]》

……完整版尼恩技术圣经PDF集群，请找尼恩领取

> 《尼恩 架构笔记》《尼恩高并发三部曲》《尼恩Java面试宝典》PDF，请到下面公号【技术自由圈】取↓↓↓

[bab3c6c08da54f04841cf437267d2717.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/eeefc1fc666c45c3b7fe31059909b5e1.png
[Netty]: https://blog.csdn.net/crazymakercircle/article/details/133845013
[2_B_API]: https://blog.csdn.net/crazymakercircle/article/details/133773075
[100_WebSocket]: https://blog.csdn.net/crazymakercircle/article/details/133236681
[120]: https://blog.csdn.net/crazymakercircle/article/details/132941352
[Link 1]: https://blog.csdn.net/crazymakercircle/article/details/132886280
[100_WebSocket 1]: https://blog.csdn.net/crazymakercircle/article/details/132737300
[200]: https://blog.csdn.net/crazymakercircle/article/details/132695212
[Link 2]: https://blog.csdn.net/crazymakercircle/article/details/132675308
[200 1]: https://blog.csdn.net/crazymakercircle/article/details/132672467
[388b8e41908946dd9a4ac45fc2053ca3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/de58eeda44984d629f52441b5039a7cf.png
[ee2ae750a3e047acaffe4d65a0529585.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/9b78d262738f4f5bb24a1587a5b94727.png
[8e45c3a10d3f473bbcde3f5998dc824a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/b186ef15edd542469b7b5eac6c3f6708.png
[ec806440e7be435caaf6d7fc1d160722.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/65da2653b3094e0789b74b97ada8f394.png
[10c62dcc660f4e3686f0d59134ed8735.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/7abd007f8e434868a901f0d913395a37.png
[7a63ca1e0cf1411fb7ac85d189fa82f0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/0f1d5fbd2afa42ad8e2f6e5021beee00.png
[ffe0f7aacdcd066aa6380435a3911220.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/0994850cb4c64d8c9704b84a7d3a7981.png
[NIO_NIO_Selector_Epoll]: https://blog.csdn.net/crazymakercircle/article/details/133186797
[Docker_Docker_6W_Docker]: https://blog.csdn.net/crazymakercircle/article/details/129482349
[K8S_K8S_14W_K8S]: https://blog.csdn.net/crazymakercircle/article/details/130073643
[SpringCloud Alibaba _10_SpringCloud]: https://blog.csdn.net/crazymakercircle/article/details/129559428
[HBase_HBase]: https://blog.csdn.net/crazymakercircle/article/details/132589856
[Flink_Flink]: https://blog.csdn.net/crazymakercircle/article/details/132347440
[10W_Spring]: https://blog.csdn.net/crazymakercircle/article/details/129022714
[Go_Go_CRUD]: https://blog.csdn.net/crazymakercircle/article/details/131383065

发表评论取消回复

表情：

评论列表（有 0 条评论，63人围观）

还没有评论，来说两句吧...

相关阅读

相关 2亿用户，B站API网关如何架构？

说在前面在40岁老架构师尼恩的读者交流群(50+)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、滴滴的面试资格。最近，尼恩指导一个小伙伴简历，写

迷南。/ 2024年02月23日 08:11/ 0 赞/ 58 阅读

相关企业级API网关，金蝶是如何架构的？

说在前面在40岁老架构师尼恩的读者交流群(50+)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、滴滴的面试资格。最近，尼恩指导一个小伙伴简历，写

- 日理万妓/ 2024年02月21日 10:13/ 0 赞/ 56 阅读

相关日均数十亿访问，个推API网关如何架构？

说在前面在40岁老架构师尼恩的读者交流群(50+)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、滴滴的面试资格。最近，尼恩指导一个小伙伴简历，写

喜欢ヅ旅行/ 2024年02月21日 07:30/ 0 赞/ 64 阅读

相关 API网关架构设计

What is 网关？ 1. 首先还是在网上查询了以下网关的含义：网关(Gateway)又称网间连接器、协议转换器。网关在网络层以上实现网络互连，是最复杂

墨蓝/ 2023年06月28日 04:51/ 0 赞/ 25 阅读

相关微服务架构：API网关。

为什么需要API网关？为什么做微服务的需要「 API网关」呢？「 API网关」到底有些啥功能呢？我们以前项目结构比较简单的时候有用到过「 API网关」概念的模块

客官°小女子只卖身不卖艺/ 2023年06月25日 03:06/ 0 赞/ 34 阅读

相关 API网关

API网关 api gateway 即 api 网关。所有的请求首先会经过这个网关。这有点类似于前端控制器模式，也有点类似于 Facade模式。

怼烎@/ 2022年09月26日 02:12/ 0 赞/ 24 阅读

相关 API GATEWAY API 网关

Zuul 1、添加Zuul依赖以及Eureka依赖 <dependency> <groupId>org.springframewor

一时失言乱红尘/ 2022年07月13日 03:13/ 0 赞/ 302 阅读

相关京东618大促网关承载十亿调用量背后的架构实践

618大促，我们的网关承载了几十亿的流量和调用，在这种情况下，网关系统必须保证整个系统的稳定性和高可用，保证高性能和可靠，以支撑业务。我们面临的是一个非常复杂的问题，基于这种复

短命女/ 2022年06月05日 09:56/ 0 赞/ 312 阅读

相关个推微服务网关架构实践

作者：个推应用平台基础架构高级研发工程师阿飞在微服务架构中，不同的微服务可以有不同的网络地址，各个微服务之间通过互相调用完成用户请求，客户端可能通过调用N个微服务的接口完

刺骨的言语ヽ痛彻心扉/ 2022年01月16日 16:45/ 0 赞/ 167 阅读

相关 API网关

一网关基本概念 1 API网关介绍 API 网关出现的原因是微服务架构的出现，不同的微服务一般会有不同的网络地址，而外部客户端可能需要调用多个服务的接口才能完成一

偏执的太偏执、/ 2021年07月24日 22:10/ 0 赞/ 558 阅读