携程Apollo配置中心教程第一弹 Apollo核心概念与设计

旧城等待， 2022-12-13 01:46 685阅读 0赞

**写在前面的话**

更多Spring与微服务相关的教程请戳这里 [火力全开系列 Spring与微服务教程合集 持续更新][Spring_]

# 1、核心概念 #

Apollo支持4个维度管理Key-Value格式的配置：

*  application (应用)
 *  environment (环境)
 *  cluster (集群)
 *  namespace (命名空间)

## 1.1、application (应用) ##

*  这个很好理解，就是实际使用配置的应用，Apollo客户端在运行时需要知道当前应用是谁，从而可以去获取对应的配置
 *  每个应用都需要有唯一的身份标识 -- appId，我们认为应用身份是跟着代码走的，所以需要在代码中配置

## 1.2、environment (环境) ##

*  配置对应的环境，Apollo客户端在运行时需要知道当前应用处于哪个环境，从而可以去获取应用的配置
 *  我们认为环境和代码无关，同一份代码部署在不同的环境就应该能够获取到不同环境的配置
 *  所以环境默认是通过读取机器上的配置（server.properties中的env属性）指定的，不过为了开发方便，我们也支持运行时通过System Property等指定

## 1.3、cluster (集群) ##

*  一个应用下不同实例的分组，比如典型的可以按照数据中心分，把上海机房的应用实例分为一个集群，把北京机房的应用实例分为另一个集群。
 *  对不同的cluster，同一个配置可以有不一样的值，如zookeeper地址。
 *  集群默认是通过读取机器上的配置（server.properties中的idc属性）指定的，不过也支持运行时通过System Property指定

## **1.4、namespace (命名空间)** ##

*  一个应用下不同配置的分组，可以简单地把namespace类比为文件，不同类型的配置存放在不同的文件中，如数据库配置文件，RPC配置文件，应用自身的配置文件等
 *  应用可以直接读取到公共组件的配置namespace，如DAL，RPC等
 *  应用也可以通过继承公共组件的配置namespace来对公共组件的配置做调整，如DAL的初始数据库连接数

## 1.5、核心概念之namespace ##

### 1.5.1、什么是Namespace? ###

Namespace是配置项的集合，类似于一个配置文件的概念。

### 1.5.2、什么是“application”的Namespace？ ###

Apollo在创建项目的时候，都会默认创建一个“application”的Namespace。顾名思义，“application”是给应用自身使用的，熟悉Spring Boot的同学都知道，Spring Boot项目都有一个默认配置文件application.yml。在这里application.yml就等同于“application”的Namespace。对于90%的应用来说，“application”的Namespace已经满足日常配置使用场景了。

客户端获取“application” Namespace的代码如下：

Config config = ConfigService.getAppConfig();

客户端获取非“application” Namespace的代码如下：

Config config = ConfigService.getConfig(namespaceName);

### 1.5.3、Namespace的格式有哪些？ ###

配置文件有多种格式，例如：properties、xml、yml、yaml、json等。同样Namespace也具有这些格式。在Portal UI中可以看到“application”的Namespace上有一个“properties”标签，表明“application”是properties格式的。

注1：非properties格式的namespace，在客户端使用时需要调用ConfigService.getConfigFile(String namespace, ConfigFileFormat configFileFormat)来获取，如果使用Http接口直接调用时，对应的namespace参数需要传入namespace的名字加上后缀名，如datasources.json。

注2：apollo-client 1.3.0版本开始对yaml/yml做了更好的支持，使用起来和properties格式一致：Config config = ConfigService.getConfig("application.yml");，Spring的注入方式也和properties一致。

### 1.5.4、Namespace的获取权限分类 ###

Namespace的获取权限分为两种：

*  private （私有的）：private权限的Namespace，只能被所属的应用获取到。一个应用尝试获取其它应用private的Namespace，Apollo会报“404”异常
 *  public （公共的）：public权限的Namespace，能被任何应用获取

这里的获取权限是相对于Apollo客户端来说的。

### 1.5.5、Namespace的类型 ###

**Namespace类型有三种：**

*  私有类型：私有类型的Namespace具有private权限。例如上文提到的“application” Namespace就是私有类型
 *  公共类型
 *  关联类型（继承类型）

**a）公共类型**

公共类型的Namespace具有public权限。公共类型的Namespace相当于游离于应用之外的配置，且通过Namespace的名称去标识公共Namespace，所以公共的Namespace的名称必须全局唯一。

使用场景

*  部门级别共享的配置
 *  小组级别共享的配置
 *  几个项目之间共享的配置
 *  中间件客户端的配置

**b）关联类型**

关联类型又可称为继承类型，关联类型具有private权限。关联类型的Namespace继承于公共类型的Namespace，用于覆盖公共Namespace的某些配置。例如公共的Namespace有两个配置项：【k1=v1;k2=v2】

然后应用A有一个关联类型的Namespace关联了此公共Namespace，且覆盖了配置项k1=v3。那么在应用A实际运行时，获取到的公共Namespace的配置为：【k1=v3;k2=v2】

# 2、既然Apollo是配置中心，那配置有哪些属性？ #

**配置是独立于程序的只读变量**

*  配置首先是独立于程序的，同一份程序在不同的配置下会有不同的行为。
 *  其次，配置对于程序是只读的，程序通过读取配置来改变自己的行为，但是程序不应该去改变配置。
 *  常见的配置有：DB Connection Str、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。

**配置伴随应用的整个生命周期**

*  配置贯穿于应用的整个生命周期，应用在启动时通过读取配置来初始化，在运行时根据配置调整行为。

**配置可以有多种加载方式**

*  配置也有很多种加载方式，常见的有程序内部hard code，配置文件，环境变量，启动参数，基于数据库等。

**配置需要治理**

*  权限控制：由于配置能改变程序的行为，不正确的配置甚至能引起灾难，所以对配置的修改必须有比较完善的权限控制。
 *  不同环境、集群配置管理：同一份程序在不同的环境（开发，测试，生产）、不同的集群（如不同的数据中心）经常需要有不同的配置，所以需要有完善的环境、集群配置管理。
 *  框架类组件配置管理：还有一类比较特殊的配置 - 框架类组件配置，比如CAT客户端的配置。虽然这类框架类组件是由其他团队开发、维护，但是运行时是在业务实际应用内的，所以本质上可以认为框架类组件也是应用的一部分。这类组件对应的配置也需要有比较完善的管理方式。

# 3、Apollo有哪些特性 #

**统一管理不同环境、不同集群的配置**

*  Apollo提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。
 *  同一份代码部署在不同的集群，可以有不同的配置，比如zookeeper的地址等
 *  通过命名空间（namespace）可以很方便地支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆盖

**配置修改实时生效（热发布）**

*  用户在Apollo修改完配置并发布后，客户端能实时（1秒）接收到最新的配置，并通知到应用程序

**版本发布管理**

*  所有的配置发布都有版本概念，从而可以方便地支持配置的回滚

**灰度发布**

*  支持配置的灰度发布，比如点了发布后，只对部分应用实例生效，等观察一段时间没问题后再推给所有应用实例

**权限管理、发布审核、操作审计**

*  应用和配置的管理都有完善的权限管理机制，对配置的管理还分为了编辑和发布两个环节，从而减少人为的错误。
 *  所有的操作都有审计日志，可以方便地追踪问题

**客户端配置信息监控**

*  可以在界面上方便地看到配置在被哪些实例使用

**提供Java和.Net原生客户端**

*  提供了Java和.Net的原生客户端，方便应用集成
 *  支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties，方便应用使用（需要Spring 3.1.1+）
 *  同时提供了Http接口，非Java和.Net应用也可以方便地使用

**提供开放平台API**

*  Apollo自身提供了比较完善的统一配置管理界面，支持多环境、多数据中心配置管理、权限、流程治理等特性。不过Apollo出于通用性考虑，不会对配置的修改做过多限制，只要符合基本的格式就能保存，不会针对不同的配置值进行针对性的校验，如数据库用户名、密码，Redis服务地址等
 *  对于这类应用配置，Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布，并且具备完善的授权和权限控制

**部署简单**

*  配置中心作为基础服务，可用性要求非常高，这就要求Apollo对外部依赖尽可能地少
 *  目前唯一的外部依赖是MySQL，所以部署非常简单，只要安装好Java和MySQL就可以让Apollo跑起来
 *  Apollo还提供了打包脚本，一键就可以生成所有需要的安装包，并且支持自定义运行时参数

# 4、Apollo设计一览 #

## 4.1、Apollo基础模型 ##

1.  用户在配置中心对配置进行修改并发布
2.  配置中心通知Apollo客户端有配置更新
3.  Apollo客户端从配置中心拉取最新的配置、更新本地配置并通知到应用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70][]

## 4.2、服务端总体设计-各模块介绍 ##

下图简要描述了Apollo的总体设计，我们可以从下往上看：

*  Config Service提供配置的读取、推送等功能，服务对象是Apollo客户端
 *  Admin Service提供配置的修改、发布等功能，服务对象是Apollo Portal（管理界面）
 *  Config Service和Admin Service都是多实例、无状态部署，所以需要将自己注册到Eureka中并保持心跳
 *  在Eureka之上我们架了一层Meta Server用于封装Eureka的服务发现接口
 *  Client通过域名访问Meta Server获取Config Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Client侧会做load balance、错误重试
 *  Portal通过域名访问Meta Server获取Admin Service服务列表（IP+Port），而后直接通过IP+Port访问服务，同时在Portal侧会做load balance、错误重试
 *  为了简化部署，我们实际上会把Config Service、Eureka和Meta Server三个逻辑角色部署在同一个JVM进程中

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70 1][]

### 4.2.1、Config Service ###

*  提供配置获取接口
 *  提供配置更新推送接口（基于Http long polling）
    
     *  服务端使用Spring DeferredResult实现异步化，从而大大增加长连接数量
     *  目前使用的tomcat embed默认配置是最多10000个连接（可以调整），使用了4C8G的虚拟机实测可以支撑10000个连接，所以满足需求（一个应用实例只会发起一个长连接）。
 *  接口服务对象为Apollo客户端

### 4.2.2、Admin Service ###

*  提供配置管理接口
 *  提供配置修改、发布等接口
 *  接口服务对象为Portal

### 4.2.3、Meta Server ###

*  Portal通过域名访问Meta Server获取Admin Service服务列表（IP+Port）
 *  Client通过域名访问Meta Server获取Config Service服务列表（IP+Port）
 *  Meta Server从Eureka获取Config Service和Admin Service的服务信息，相当于是一个Eureka Client
 *  增设一个Meta Server的角色主要是为了封装服务发现的细节，对Portal和Client而言，永远通过一个Http接口获取Admin Service和Config Service的服务信息，而不需要关心背后实际的服务注册和发现组件
 *  Meta Server只是一个逻辑角色，在部署时和Config Service是在一个JVM进程中的，所以IP、端口和Config Service一致

### 4.2.4、Eureka ###

*  基于Eureka和Spring Cloud Netflix提供服务注册和发现
 *  Config Service和Admin Service会向Eureka注册服务，并保持心跳
 *  为了简单起见，目前Eureka在部署时和Config Service是在一个JVM进程中的（通过Spring Cloud Netflix）

### 4.2.5、Portal ###

*  提供Web界面供用户管理配置
 *  通过Meta Server获取Admin Service服务列表（IP+Port），通过IP+Port访问服务
 *  在Portal侧做load balance、错误重试

### 4.2.6、Client ###

*  Apollo提供的客户端程序，为应用提供配置获取、实时更新等功能
 *  通过Meta Server获取Config Service服务列表（IP+Port），通过IP+Port访问服务
 *  在Client侧做load balance、错误重试

## 4.3、服务端详细设计 ##

### 4.3.1、配置发布后的实时推送设计 ###

在配置中心中，一个重要的功能就是配置发布后实时推送到客户端。下面我们简要看一下这块是怎么设计实现的

![release-message-notification-design][]

上图简要描述了配置发布的大致过程：

1.  用户在Portal操作配置发布
2.  Portal调用Admin Service的接口操作发布
3.  Admin Service发布配置后，发送ReleaseMessage给各个Config Service
4.  Config Service收到ReleaseMessage后，通知对应的客户端

### 4.3.2、发送ReleaseMessage的实现方式 ###

为了尽可能减少外部依赖，我们没有采用外部的消息中间件，而是通过数据库实现了一个简单的消息队列。

实现方式如下：

1.  Admin Service在配置发布后会往ReleaseMessage表插入一条消息记录，消息内容就是配置发布的AppId+Cluster+Namespace，参见DatabaseMessageSender
2.  Config Service有一个线程会每秒扫描一次ReleaseMessage表，看看是否有新的消息记录，参见ReleaseMessageScanner
3.  Config Service如果发现有新的消息记录，那么就会通知到所有的消息监听器（ReleaseMessageListener），如NotificationControllerV2，消息监听器的注册过程参见ConfigServiceAutoConfiguration
4.  NotificationControllerV2得到配置发布的AppId+Cluster+Namespace后，会通知对应的客户端

示意图如下：

![release-message-design][]

### 4.3.3、Config Service通知客户端的实现方式 ###

上一节中简要描述了NotificationControllerV2是如何得知有配置发布的，那NotificationControllerV2在得知有配置发布后是如何通知到客户端的呢？

实现方式如下：

1.  客户端会发起一个Http请求到Config Service的notifications/v2接口，也就是NotificationControllerV2，参见RemoteConfigLongPollService
2.  NotificationControllerV2不会立即返回结果，而是通过Spring DeferredResult把请求挂起
3.  如果在60秒内没有该客户端关心的配置发布，那么会返回Http状态码304给客户端
4.  如果有该客户端关心的配置发布，NotificationControllerV2会调用DeferredResult的setResult方法，传入有配置变化的namespace信息，同时该请求会立即返回。客户端从返回的结果中获取到配置变化的namespace后，会立即请求Config Service获取该namespace的最新配置。

## 4.4、服务端ER图 ##

### 4.4.1、核心ER图 ###

![apollo-erd][]

**App：**App信息

**AppNamespace：**App下Namespace的元信息

**Cluster：**集群信息

**Namespace：**集群下的namespace

**Item：**Namespace的配置，每个Item是一个key, value组合

**Release：**Namespace发布的配置，每个发布包含发布时该Namespace的所有配置

**Commit：**Namespace下的配置更改记录

**Audit：**审计信息，记录用户在何时使用何种方式操作了哪个实体。

### 4.4.2、权限相关ER图 ###

![apollo-erd-role-permission][]

**User：**Apollo portal用户  
**UserRole：**用户和角色的关系  
**Role：**角色  
**RolePermission：**角色和权限的关系  
**Permission：**权限；对应到具体的实体资源和操作，如修改NamespaceA的配置，发布NamespaceB的配置等。  
**Consumer：**第三方应用  
**ConsumerToken：**发给第三方应用的token  
**ConsumerRole：**第三方应用和角色的关系  
**ConsumerAudit：**第三方应用访问审计

## 4.5、客户端设计 ##

### 4.5.1、Apollo客户端的实现原理 ###

*  客户端和服务端保持了一个长连接，从而能第一时间获得配置更新的推送。
 *  客户端还会定时从Apollo配置中心服务端拉取应用的最新配置。这是一个fallback机制，为了防止推送机制失效导致配置不更新。客户端定时拉取会上报本地版本，所以一般情况下，对于定时拉取的操作，服务端都会返回304 - Not Modified。定时频率默认为每5分钟拉取一次，客户端也可以通过在运行时指定System Property: `apollo.refreshInterval`来覆盖，单位为分钟。
 *  客户端从Apollo配置中心服务端获取到应用的最新配置后，会保存在内存中
 *  客户端会把从服务端获取到的配置在本地文件系统缓存一份。在遇到服务不可用，或网络不通的时候，依然能从本地恢复配置
 *  应用程序从Apollo客户端获取最新的配置、订阅配置更新通知

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70 2][]

### 4.5.2、服务端与客户端之间的长连接是如何实现的？ ###

前面提到了Apollo客户端和服务端保持了一个长连接，从而能第一时间获得配置更新的推送。长连接实际上我们是通过Http Long Polling实现的，具体而言：

1、客户端发起一个Http请求到服务端

2、服务端会保持住这个连接60秒

*  如果在60秒内有客户端关心的配置变化，被保持住的客户端请求会立即返回，并告知客户端有配置变化的namespace信息，客户端会据此拉取对应namespace的最新配置
 *  如果在60秒内没有客户端关心的配置变化，那么会返回Http状态码304给客户端
 *  客户端在收到服务端请求后会立即重新发起连接，回到第一步

3、考虑到会有数万客户端向服务端发起长连，在服务端我们使用了async servlet(Spring DeferredResult)来服务Http Long Polling请求。

[Spring_]: https://blog.csdn.net/xl_1803/article/details/109462842
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70]: /images/20221123/9f60a06951824dcda3a34c3ee000b5be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70 1]: /images/20221123/f01964873a78442bbc9a6cab39451ed1.png
[release-message-notification-design]: /images/20221123/656c5b9244a34394bacae07fa9e9202a.png
[release-message-design]: /images/20221123/35ca9ebae46e43928c04c22c22c1a260.png
[apollo-erd]: /images/20221123/d00e90fa24ef4e74988d61ff2522036d.png
[apollo-erd-role-permission]: /images/20221123/ef50908bd0534ee4b897b8f668a00c3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hsXzE4MDM_size_16_color_FFFFFF_t_70 2]: /images/20221123/2cc0893f54424e6492bb6b7bbccaba00.png