SpringCloud详细介绍 zh-微服务保护09

待我称王封你为后i 2023-09-25 19:27 77阅读 0赞

# 1.初识Sentinel #

## 1)雪崩问题及解决方案 ##

### (1)雪崩问题 ###

微服务中，服务间调用关系错综复杂，`一个微服务往往依赖于多个其它微服务`。

![在这里插入图片描述][28247acf2a36411aab2a9abc1d1016ee.png]

如图，如果服务提供者I发生了故障，当前的应用的部分业务因为依赖于服务I，因此也会被阻塞。此时，其它不依赖于服务I的业务似乎不受影响。

![在这里插入图片描述][a18cbb0ebeac41699666d90c78d3ef94.png]

但是，`依赖服务I的业务请求被阻塞，用户不会得到响应，则tomcat的这个线程不会释放，于是越来越多的用户请求到来，越来越多的线程会阻塞`：

![在这里插入图片描述][cb3856a747d14d3e9b4627b2a669cdc4.png]

服务器支持的线程和并发数有限，请求一直阻塞，会导致服务器资源耗尽，从而导致所有其它服务都不可用，那么当前服务也就不可用了。

那么，依赖于当前服务的其它服务随着时间的推移，最终也都会变的不可用，形成`级联失败`，雪崩就发生了：

![在这里插入图片描述][e45eac2908cf4b4db83fd3b26776e003.png]

### (2)超时处理 ###

解决雪崩问题的常见方式有四种：

•`超时处理`：`设定超时时间，请求超过一定时间没有响应就返回错误信息，不会无休止等待`

![在这里插入图片描述][7bd59b9241d24a61bbb3e7a050ff617c.png]

### (3)仓壁模式 ###

方案2：`仓壁模式`

仓壁模式来源于`船舱的设计`：

![在这里插入图片描述][82a7ac0991584cbdbbaeaf6ad3d94cca.png]

船舱都会被隔板分离为多个独立空间，当船体破损时，只会导致部分空间进入，将故障控制在一定范围内，避免整个船体都被淹没。

于此类似，我们可以限定每个业务能使用的线程数，避免耗尽整个tomcat的资源，因此也叫线程隔离。

![在这里插入图片描述][db522284c576487790e19c46d9b61c6f.png]

### (4)断路器 ###

断路器模式：由**断路器**统计业务执行的异常比例，如果超出阈值则会**熔断**该业务，拦截访问该业务的一切请求。

断路器会统计访问某个服务的请求数量，异常比例：

![在这里插入图片描述][b9f4124d821e4ad4bcb281e88c6e4400.png]

当发现访问服务D的请求异常比例过高时，认为服务D有导致雪崩的风险，会拦截访问服务D的一切请求，形成熔断：

![在这里插入图片描述][0da2328718c0450c9d944ebbf25f2fd1.png]

### (5)限流 ###

**流量控制**：`限制业务访问的QPS，避免服务因流量的突增而故障。`

![在这里插入图片描述][b9230ce2f14a4f00b8aa6032b30448e7.png]

### (6)总结 ###

什么是雪崩问题？

*  \`微服务之间相互调用，因为调用链中的一个服务故障，引起整个链路都无法访问的情况。

可以认为：

**限流**是对服务的保护，`避免因瞬间高并发流量而导致服务故障`，进而避免雪崩。是一种**预防**措施。

**超时处理、线程隔离、降级熔断**是在部分服务故障时，`将故障控制在一定范围，避免雪崩`。是一种**补救**措施。

![在这里插入图片描述][bd0c1177ab6c45838500fa800232e99d.png]

## 2)服务保护技术对比 ##

在SpringCloud当中支持多种服务保护技术：

*  [Netfix Hystrix][]
 *  [Sentinel][]
 *  [Resilience4J][]

早期比较流行的是Hystrix框架，但目前国内实用最广泛的还是阿里巴巴的Sentinel框架，这里我们做下对比：

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th><strong>Sentinel</strong></th> 
   <th><strong>Hystrix</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><code>隔离策略</code></td> 
   <td>信号量隔离</td> 
   <td>线程池隔离/信号量隔离</td> 
  </tr> 
  <tr> 
   <td><code>熔断降级策略</code></td> 
   <td>基于慢调用比例或异常比例</td> 
   <td>基于失败比率</td> 
  </tr> 
  <tr> 
   <td>实时指标实现</td> 
   <td>滑动窗口</td> 
   <td>滑动窗口（基于 RxJava）</td> 
  </tr> 
  <tr> 
   <td>规则配置</td> 
   <td>支持多种数据源</td> 
   <td>支持多种数据源</td> 
  </tr> 
  <tr> 
   <td>扩展性</td> 
   <td>多个扩展点</td> 
   <td>插件的形式</td> 
  </tr> 
  <tr> 
   <td>基于注解的支持</td> 
   <td>支持</td> 
   <td>支持</td> 
  </tr> 
  <tr> 
   <td><code>限流</code></td> 
   <td>基于 QPS，支持基于调用关系的限流</td> 
   <td>有限的支持</td> 
  </tr> 
  <tr> 
   <td><code>流量整形</code></td> 
   <td>支持慢启动、匀速排队模式</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td>系统自适应保护</td> 
   <td>支持</td> 
   <td>不支持</td> 
  </tr> 
  <tr> 
   <td><code>控制台</code></td> 
   <td>开箱即用，可配置规则、查看秒级监控、机器发现等</td> 
   <td>不完善</td> 
  </tr> 
  <tr> 
   <td>常见框架的适配</td> 
   <td>Servlet、Spring Cloud、Dubbo、gRPC 等</td> 
   <td>Servlet、Spring Cloud Netflix</td> 
  </tr> 
 </tbody> 
</table>

## 3)Sentinel介绍和安装 ##

### (1)初识Sentinel ###

`Sentinel`是阿里巴巴开源的一款微服务流量控制组件。官网地址：https://sentinelguard.io/zh-cn/index.html

Sentinel 具有以下特征:

•**丰富的应用场景**：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，`例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等`。

•**完备的实时监控**：`Sentinel 同时提供实时的监控功能`。您可以在控制台中看到接入应用的单台机器秒级数据，甚至 500 台以下规模的集群的汇总运行情况。

•**广泛的开源生态**：Sentinel 提供`开箱即用的与其它开源框架/库的整合模块`，例如与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。

•**完善的** **SPI** **扩展点**：Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

### (2)安装Sentinel ###

1）下载

sentinel官方提供了UI控制台，方便我们对系统做限流设置。大家可以在[GitHub][]下载。

课前资料也提供了下载好的jar包：

![在这里插入图片描述][81d73d184b1a40c685d19d1d0973110c.png]

2）运行

将jar包放到任意非中文目录，执行命令：

java -jar sentinel-dashboard-1.8.1.jar

如果要修改Sentinel的默认端口、账户、密码，可以通过下列配置：

<table> 
 <thead> 
  <tr> 
   <th><strong>配置项</strong></th> 
   <th><strong>默认值</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>server.port</td> 
   <td>8080</td> 
   <td>服务端口</td> 
  </tr> 
  <tr> 
   <td>sentinel.dashboard.auth.username</td> 
   <td>sentinel</td> 
   <td>默认用户名</td> 
  </tr> 
  <tr> 
   <td>sentinel.dashboard.auth.password</td> 
   <td>sentinel</td> 
   <td>默认密码</td> 
  </tr> 
 </tbody> 
</table>

例如，修改端口：

java -Dserver.port=8090 -jar sentinel-dashboard-1.8.1.jar

3）访问

访问`http://localhost:8080`页面，就可以看到sentinel的控制台了：

![在这里插入图片描述][e61ed571af764e79b5e7e37b04074582.png]

需要输入账号和密码，默认都是：sentinel

登录后，发现一片空白，什么都没有：

![在这里插入图片描述][b99ef59dda8646f6a7062cb9c1b021de.png]

这是因为我们还没有与微服务整合。

## 4)微服务整合Sentinel ##

我们在`order-service`中整合sentinel，并连接sentinel的控制台，步骤如下：

1）引入sentinel依赖

<dependency>
        <groupId>com.alibaba.cloud</groupId> 
        <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
    </dependency>

2）配置控制台

修改application.yaml文件，添加下面内容：

server:
      port: 8088
    spring:
      cloud: 
        sentinel:
          transport:
            dashboard: localhost:8080

3）访问order-service的任意端点

打开浏览器，访问http://localhost:8088/order/101，这样才能触发sentinel的监控。

然后再访问sentinel的控制台，查看效果：

![在这里插入图片描述][008c1f1833554e339f35505107ed0175.png]

# 2.流量控制 #

雪崩问题虽然有四种方案，但是`限流是避免服务因突发的流量而发生故障`，是对微服务雪崩问题的预防。我们先学习这种模式。

## 1)簇点链路 ##

当请求进入微服务时，首先会访问`DispatcherServlet`，然后进入Controller、Service、Mapper，这样的一个调用链就叫做**簇点链路**。簇点链路中被监控的每一个接口就是一个**资源**。

默认情况下sentinel会监控SpringMVC的每一个端点（Endpoint，也就是controller中的方法），因此SpringMVC的每一个端点（Endpoint）就是调用链路中的一个资源。

例如，我们刚才访问的order-service中的OrderController中的端点：/order/\{orderId\}

![在这里插入图片描述][0fca621610f04cab97b8877931fba40e.png]

流控、熔断等都是针对簇点链路中的资源来设置的，因此我们可以点击对应资源后面的按钮来设置规则：

*  `流控`：流量控制
 *  `降级`：降级熔断
 *  `热点`：热点参数限流，是限流的一种
 *  `授权`：请求的权限控制

## 2)快速入门 ##

### (1)示例 ###

点击资源/order/\{orderId\}后面的流控按钮，就可以弹出表单。

![在这里插入图片描述][5f0a31e48718496d8eb680fa1407c972.png]

表单中可以填写限流规则，如下：

![在这里插入图片描述][d71b1bc94f9c48549244ba96abbc2bcb.png]

其含义是限制 /order/\{orderId\}这个资源的单机QPS为1，即每秒只允许1次请求，超出的请求会被拦截并报错。

### (2)练习： ###

需求：给 /order/\{orderId\}这个资源设置流控规则，QPS不能超过 5，然后测试。

1）首先在sentinel控制台添加限流规则

![在这里插入图片描述][ad5029cd8904479984b3d5465585d297.png]

2）利用jmeter测试

如果没有用过jmeter，可以参考课前资料提供的文档《Jmeter快速入门.md》

课前资料提供了编写好的Jmeter测试样例：

![在这里插入图片描述][b3cbd699176a4c4fbe0c03ba1d6b265a.png]

打开jmeter，导入课前资料提供的测试样例：

![在这里插入图片描述][a95d18a45a844e6aa8b7eaabc2fb9a96.png]

选择：  
![在这里插入图片描述][4878822a739f4520b840c3b18c149d19.png]

20个用户，2秒内运行完，QPS是10，超过了5.

选中`流控入门，QPS<5`右键运行：

![在这里插入图片描述][0be8f312b60b4f278ac3fd1cabaaa15d.png]

> 注意，不要点击菜单中的执行按钮来运行。

结果：

![在这里插入图片描述][5a611d9859164c72bbead0511ff87fc5.png]

可以看到，成功的请求每次只有5个

## 3)流控模式 ##

在添加限流规则时，点击高级选项，可以选择三种**流控模式**：

*  `直接`：`统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认的模式`
 *  `关联`：统计与当前资源相关的另一个资源，`触发阈值时，对当前资源限流`
 *  `链路`：统计从指定链路访问到本资源的请求，`触发阈值时，对指定链路限流`  
    ![在这里插入图片描述][b9f891837f534ece9e5026c0d01bce08.png]

快速入门测试的就是直接模式。

### (1)关联模式 ###

**关联模式**：`统计与当前资源相关的另一个资源，触发阈值时，对当前资源限流`

**配置规则**：

![在这里插入图片描述][5022569b0865405caaf9763f2c72bb27.png]

**语法说明**：`当/write资源访问量触发阈值时，就会对/read资源限流，避免影响/write资源。`

**使用场景**：比如用户支付时需要修改订单状态，同时用户要查询订单。查询和修改操作会争抢数据库锁，产生竞争。业务需求是优先支付和更新订单的业务，因此当修改订单业务触发阈值时，需要对查询订单业务限流。

**需求说明**：

*  在`OrderController`新建两个端点：`/order/query`和`/order/update`，无需实现业务
 *  配置流控规则，当/order/ update资源被访问的QPS超过5时，对/order/query请求限流

1）定义/order/query端点，模拟订单查询

@GetMapping("/query")
    public String queryOrder() {
        
        return "查询订单成功";
    }

2）定义/order/update端点，模拟订单更新

@GetMapping("/update")
    public String updateOrder() {
        
        return "更新订单成功";
    }

重启服务，查看sentinel控制台的簇点链路：

![在这里插入图片描述][ead1c89ed7c54d309f58336bedac58c1.png]

3）配置流控规则

对哪个端点限流，就点击哪个端点后面的按钮。我们是对订单查询`/order/query`限流，因此点击它后面的按钮：

![在这里插入图片描述][59287940bb924b99835c6ed962181873.png]

在表单中填写流控规则：

![在这里插入图片描述][991b274807c74a20b1f8159ff30d4a80.png]

4）在Jmeter测试

选择《流控模式-关联》：

![在这里插入图片描述][e7744a3e26d848658f558634afb3e7ba.png]

可以看到1000个用户，100秒，因此QPS为10，超过了我们设定的阈值：5

查看http请求：

![在这里插入图片描述][44b6d1ac7f4a43bc88034f5cad772aea.png]

请求的目标是`/order/update`，这样这个断点就会触发阈值。

但限流的目标是`/order/query`，我们在浏览器访问，可以发现：

![在这里插入图片描述][01b8e476c1a045cab3790410457e2da8.png]

确实被限流了。

5）总结

![在这里插入图片描述][21f4f82249264cecb2895282dc1edac9.png]

### (2)链路模式 ###

**链路模式**：只针对从`指定链路访问到本资源的请求做统计，判断是否超过阈值`。

**配置示例**：

例如有两条请求链路：

*  /test1 --> /common
 *  /test2 --> /common

如果只希望统计从/test2进入到/common的请求，则可以这样配置：

![在这里插入图片描述][ae91974aae8b44c7988386649d6195ff.png]

**实战案例**

`需求：有查询订单和创建订单业务，两者都需要查询商品。针对从查询订单进入到查询商品的请求统计，并设置限流。`

步骤：

1.  在OrderService中添加一个queryGoods方法，不用实现业务
2.  在OrderController中，改造/order/query端点，调用OrderService中的queryGoods方法
3.  在OrderController中添加一个/order/save的端点，调用OrderService的queryGoods方法
4.  给queryGoods设置限流规则，从/order/query进入queryGoods的方法限制QPS必须小于2

实现：

#### 1）添加查询商品方法 ####

在order-service服务中，给OrderService类添加一个queryGoods方法：

public void queryGoods(){
        
        System.err.println("查询商品");
    }

#### 2）查询订单时，查询商品 ####

在order-service的OrderController中，修改/order/query端点的业务逻辑：

@GetMapping("/query")
    public String queryOrder() {
        
        // 查询商品
        orderService.queryGoods();
        // 查询订单
        System.out.println("查询订单");
        return "查询订单成功";
    }

#### 3）新增订单，查询商品 ####

在order-service的OrderController中，修改/order/save端点，模拟新增订单：

@GetMapping("/save")
    public String saveOrder() {
        
        // 查询商品
        orderService.queryGoods();
        // 查询订单
        System.err.println("新增订单");
        return "新增订单成功";
    }

#### 4）给查询商品添加资源标记 ####

默认情况下，OrderService中的方法是不被Sentinel监控的，需要我们自己通过注解来标记要监控的方法。

给OrderService的queryGoods方法添加@SentinelResource注解：

@SentinelResource("goods")
    public void queryGoods(){
        
        System.err.println("查询商品");
    }

链路模式中，是对不同来源的两个链路做监控。但是sentinel默认会给进入SpringMVC的所有请求设置同一个root资源，会导致链路模式失效。

我们需要关闭这种对SpringMVC的资源聚合，修改order-service服务的application.yml文件：

spring:
      cloud:
        sentinel:
          web-context-unify: false # 关闭context整合

重启服务，访问/order/query和/order/save，可以查看到sentinel的簇点链路规则中，出现了新的资源：  
![在这里插入图片描述][609337014f974905881d46b4f2639414.png]

#### 5）添加流控规则 ####

点击goods资源后面的流控按钮，在弹出的表单中填写下面信息：

![1][]

只统计从/order/query进入/goods的资源，QPS阈值为2，超出则被限流。

#### 6）Jmeter测试 ####

选择《流控模式-链路》：

![在这里插入图片描述][f1911dd9c53e4e70abaf5bf8570fc9c3.png]

`可以看到这里200个用户，50秒内发完，QPS为4，超过了我们设定的阈值2`

一个http请求是访问/order/save：

![在这里插入图片描述][4798064af1ef4032bbd9e0c0b75e0bfa.png]

运行的结果：

![在这里插入图片描述][e6941ea5093d44e9b845b3a1fa6d0e83.png]

完全不受影响。

另一个是访问/order/query：

![在这里插入图片描述][14671369ee3b459bb3aceeff67563473.png]

运行结果：  
![在这里插入图片描述][792d3d75721f43d1b07f5d9b30e10a03.png]

每次只有2个通过。

### (3)总结 ###

流控模式有哪些？

•`直接`：`对当前资源限流`

•`关联`：`高优先级资源触发阈值，对低优先级资源限流。`

•`链路`：`阈值统计时，只统计从指定资源进入当前资源的请求，是对请求来源的限流`

## 4)流控效果 ##

在流控的高级选项中，还有一个流控效果选项：

![在这里插入图片描述][1c56b9f215184786aeca5493e96c97b5.png]

`流控效果`是`指请求达到流控阈值时应该采取的措施`，包括三种：

*  `快速失败`：`达到阈值后，新的请求会被立即拒绝并抛出FlowException异常`。是默认的处理方式。
 *  `warm up`：`预热模式，对超出阈值的请求同样是拒绝并抛出异常`。但这种模式阈值会动态变化，从一个较小值逐渐增加到最大阈值。
 *  `排队等待`：`让所有的请求按照先后次序排队执行，两个请求的间隔不能小于指定时长`

### (1)warm up ###

`阈值`一般是一个`微服务能承担的最大QPS`，但是一个服务刚刚启动时，一切资源尚未初始化（**冷启动**），如果直接将QPS跑到最大值，可能导致服务瞬间宕机。

warm up也叫**预热模式**，是应对服务冷启动的一种方案。请求阈值初始值是`maxThreshold / coldFactor`，持续指定时长后，逐渐提高到`maxThreshold`值。而`coldFactor`的默认值是3.

例如，我设置QPS的maxThreshold为10，预热时间为5秒，那么初始阈值就是 10 / 3 ，也就是3，然后在5秒后逐渐增长到10.

![在这里插入图片描述][1f5ceb8e26dd425e9cac95de332521c6.png]

**案例**

需求：给/order/\{orderId\}这个资源设置限流，最大QPS为10，利用warm up效果，预热时长为5秒

#### 1）配置流控规则： ####

![在这里插入图片描述][3d328b4f44334d3a9d54c67b62bd2357.png]

#### 2）Jmeter测试 ####

选择《流控效果，warm up》：

![在这里插入图片描述][206affe6e2f143ad85a98aea5eb8c9da.png]

QPS为10.

刚刚启动时，大部分请求失败，成功的只有3个，说明QPS被限定在3：

![在这里插入图片描述][7803c731533145588f9a4f6bff64063e.png]

随着时间推移，成功比例越来越高：

![在这里插入图片描述][8e5410a048e5418886ab8fcd205853d6.png]

到Sentinel控制台查看实时监控：

![在这里插入图片描述][3f7cf76acf1f4d628d50aa21cebbb3fe.png]

一段时间后：

![在这里插入图片描述][1a183b4e666a43fe8ec665f4582baf4b.png]

### (2)排队等待 ###

`当请求超过QPS阈值时，快速失败和warm up 会拒绝新的请求并抛出异常。`

而排队等待则是让所有请求进入一个队列中，然后按照阈值允许的时间间隔依次执行。后来的请求必须等待前面执行完成，如果请求预期的等待时间超出最大时长，则会被拒绝。

`工作原理`

例如：QPS = 5，意味着每200ms处理一个队列中的请求；timeout = 2000，意味着**预期等待时长**超过2000ms的请求会被拒绝并抛出异常。

`那什么叫做预期等待时长呢？`

比如现在一下子来了12 个请求，因为每200ms执行一个请求，那么：

*  第6个请求的**预期等待时长** = 200 \* （6 - 1） = 1000ms
 *  第12个请求的预期等待时长 = 200 \* （12-1） = 2200ms

现在，第1秒同时接收到10个请求，但第2秒只有1个请求，此时QPS的曲线这样的：  
![在这里插入图片描述][9de9d1672f4345b185f4013d64431704.png]

如果使用队列模式做流控，所有进入的请求都要排队，以固定的200ms的间隔执行，QPS会变的很平滑：

![在这里插入图片描述][19d99e6081824de899daecf854ac1b15.png]

平滑的QPS曲线，对于服务器来说是更友好的。

**案例**

`需求：给/order/{orderId}这个资源设置限流，最大QPS为10，利用排队的流控效果，超时时长设置为5s`

#### 1）添加流控规则 ####

![在这里插入图片描述][16343add78864f0780863896b8e5585f.png]

#### 2）Jmeter测试 ####

选择《流控效果，队列》：

![在这里插入图片描述][731b4de4b1724aebbf755a971dd0d9c2.png]

`QPS`为15，已经超过了我们设定的10。

如果是之前的 快速失败、`warmup模式`，超出的请求应该会直接报错。

但是我们看看队列模式的运行结果：

![在这里插入图片描述][082efbba636c4b0ba5c82d1d8d27c27d.png]

全部都通过了。

再去sentinel查看实时监控的QPS曲线：

![在这里插入图片描述][d07bb4c586e74c42bea252a8165226ad.png]

QPS非常平滑，一致保持在10，但是超出的请求没有被拒绝，而是放入队列。因此**响应时间**（等待时间）会越来越长。

当队列满了以后，才会有部分请求失败：

![在这里插入图片描述][99734641e61c4e698b80fa592a2d6afc.png]

### (3)总结 ###

流控效果有哪些？

*  `快速失败`：QPS超过阈值时，拒绝新的请求
 *  `warm up`： QPS超过阈值时，拒绝新的请求；QPS阈值是逐渐提升的，可以避免冷启动时高并发导致服务宕机。
 *  `排队等待`：请求会进入队列，按照阈值允许的时间间隔依次执行请求；如果请求预期等待时长大于超时时间，直接拒绝

## 5)热点参数限流 ##

之前的限流是统计访问某个资源的所有请求，判断是否超过QPS阈值。而热点参数限流是**分别统计参数值相同的请求**，判断是否超过QPS阈值。

### (1)全局参数限流 ###

例如，一个根据id查询商品的接口：

![在这里插入图片描述][435ae169c7454671bf82c9705e8ca576.png]

访问`/goods/{id}`的请求中，id参数值会有变化，热点参数限流会根据参数值分别统计QPS，统计结果：

![在这里插入图片描述][58fac78160d245f08ee90a3db98acc69.png]

当`id=1`的请求触发阈值被限流时，id值不为1的请求不受影响。

配置示例：  
![在这里插入图片描述][227f5eabfa804005976f397cb84f13e3.png]

`代表的含义`是：对hot这个资源的0号参数（第一个参数）做统计，每1秒**相同参数值**的请求数不能超过5

### (2)热点参数限流 ###

刚才的配置中，对查询商品这个接口的所有商品一视同仁，QPS都限定为5.

而在实际开发中，可能部分商品是热点商品，例如秒杀商品，我们希望这部分商品的QPS限制与其它商品不一样，高一些。那就需要配置热点参数限流的高级选项了：

![在这里插入图片描述][ce7cf10a9b9a4c809756ad061b0f80c3.png]

结合上一个配置，这里的含义是对0号的long类型参数限流，每1秒相同参数的QPS不能超过5，有两个例外：

•`如果参数值是100，则每1秒允许的QPS为10`

•`如果参数值是101，则每1秒允许的QPS为15`

### (3)案例 ###

**案例需求**：给/order/\{orderId\}这个资源添加热点参数限流，规则如下：

•默认的热点参数规则是每1秒请求量不超过2

•给102这个参数设置例外：每1秒请求量不超过4

•给103这个参数设置例外：每1秒请求量不超过10

**注意事项**：热点参数限流对默认的SpringMVC资源无效，需要利用@SentinelResource注解标记资源

#### 1）标记资源 ####

给order-service中的OrderController中的/order/\{orderId\}资源添加注解：

![在这里插入图片描述][134a347ca86b423aa02429d3d8accada.png]

#### 2）热点参数限流规则 ####

访问该接口，可以看到我们标记的hot资源出现了：

![在这里插入图片描述][c41e92be1ac449fdbfa5746fa47b4c86.png]

这里不要点击hot后面的按钮，页面有BUG

点击左侧菜单中**热点规则**菜单：

![在这里插入图片描述][508fb2820cf44f1aab7ca2c5f8db4787.png]

点击新增，填写表单：

![在这里插入图片描述][06a5d16c51784225aed4427ad9b3b6f8.png]

#### 3）Jmeter测试 ####

选择《热点参数限流 QPS1》：

![在这里插入图片描述][4d1e8ccbb87841ba9dade7245a79f353.png]

这里发起请求的QPS为5.

包含3个http请求：

普通参数，QPS阈值为2

![在这里插入图片描述][17d0306d8b1b46dd8c42e1dab35a96f1.png]

运行结果：

![在这里插入图片描述][7ab6143808e14915a4d711ea39ce9262.png]

例外项，QPS阈值为4

![在这里插入图片描述][90907c44d7c44313bcca5dbe73e0faa8.png]

运行结果：  
![在这里插入图片描述][7640adf458dc49d492d203e42f459352.png]

例外项，QPS阈值为10

![在这里插入图片描述][003d5249ed1e4a01b68478d7dd79a9a7.png]

运行结果：

![在这里插入图片描述][555bca362dbf4202a7bf9137a83a7a31.png]

# 3.隔离和降级 #

`限流`是一种预防措施，虽然限流可以尽量避免因高并发而引起的服务故障，但服务还会因为其它原因而故障。

而要将这些故障控制在一定范围，避免雪崩，就要靠**线程隔离**（舱壁模式）和**熔断降级**手段了。

**线程隔离**之前讲到过：`调用者在调用服务提供者时，给每个调用的请求分配独立线程池，出现故障时，最多消耗这个线程池内资源，避免把调用者的所有资源耗尽`。

![在这里插入图片描述][ea55aa03aaf54b94913f054f8979172b.png]

**熔断降级**：是在`调用方这边加入断路器，统计对服务提供者的调用，如果调用的失败比例过高，则熔断该业务，不允许访问该服务的提供者了。`

可以看到，不管是线程隔离还是熔断降级，都是对**客户端**（调用方）的保护。需要在**调用方** 发起远程调用时做线程隔离、或者服务熔断。

而我们的微服务远程调用都是基于`Feign`来完成的，因此我们需要将Feign与Sentinel整合，在Feign里面实现`线程隔离和服务熔断`。

## 1)FeignClient整合Sentinel ##

SpringCloud中，微服务调用都是通过Feign来实现的，因此做客户端保护必须整合Feign和Sentinel。

### (1)修改配置，开启sentinel功能 ###

修改OrderService的application.yml文件，开启Feign的Sentinel功能：

feign:
      sentinel:
        enabled: true # 开启feign对sentinel的支持

### (2)编写失败降级逻辑 ###

业务失败后，不能直接报错，而应该返回用户一个友好提示或者默认结果，这个就是失败降级逻辑。

给FeignClient编写失败后的降级逻辑

①方式一：FallbackClass，无法对远程调用的异常做处理

②方式二：FallbackFactory，可以对远程调用的异常做处理，我们选择这种

这里我们演示方式二的失败降级处理。

**步骤一**：在feing-api项目中定义类，实现FallbackFactory：

![在这里插入图片描述][f36a1073e480433caadfc57d1122aec2.png]

代码：

package cn.itcast.feign.clients.fallback;
    
    import cn.itcast.feign.clients.UserClient;
    import cn.itcast.feign.pojo.User;
    import feign.hystrix.FallbackFactory;
    import lombok.extern.slf4j.Slf4j;
    
    @Slf4j
    public class UserClientFallbackFactory implements FallbackFactory<UserClient> {
        
        @Override
        public UserClient create(Throwable throwable) {
        
            return new UserClient() {
        
                @Override
                public User findById(Long id) {
        
                    log.error("查询用户异常", throwable);
                    return new User();
                }
            };
        }
    }

**步骤二**：在feing-api项目中的DefaultFeignConfiguration类中将UserClientFallbackFactory注册为一个Bean：

@Bean
    public UserClientFallbackFactory userClientFallbackFactory(){
        
        return new UserClientFallbackFactory();
    }

**步骤三**：在feing-api项目中的UserClient接口中使用UserClientFallbackFactory：

import cn.itcast.feign.clients.fallback.UserClientFallbackFactory;
    import cn.itcast.feign.pojo.User;
    import org.springframework.cloud.openfeign.FeignClient;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.PathVariable;
    
    @FeignClient(value = "userservice", fallbackFactory = UserClientFallbackFactory.class)
    public interface UserClient {
        
    
        @GetMapping("/user/{id}")
        User findById(@PathVariable("id") Long id);
    }

重启后，访问一次订单查询业务，然后查看sentinel控制台，可以看到新的簇点链路：

![在这里插入图片描述][23b5025597b34b8ea4dd2a8d66c71011.png]

### (3)总结 ###

`Sentinel支持的雪崩解决方案`：

*  `线程隔离（仓壁模式）`
 *  `降级熔断`

`Feign整合Sentinel的步骤：`

*  在application.yml中配置：`feign.sentienl.enable=true`
 *  给FeignClient编写`FallbackFactory并注册为Bean`
 *  将`FallbackFactory配置到FeignClient`

## 2)线程隔离（舱壁模式） ##

### (1)线程隔离的实现方式 ###

`线程隔离有两种方式实现：`

*  `线程池隔离`
 *  `信号量隔离（Sentinel默认采用）`

如图：

![在这里插入图片描述][e323da5ca9fe49ffa8ebbfb48e2ee2a6.png]

**线程池隔离**：给`每个服务调用业务分配一个线程池，利用线程池本身实现隔离效果`

**信号量隔离**：`不创建线程池，而是计数器模式，记录业务使用的线程数量，达到信号量上限时，禁止新的请求。`

两者的优缺点：  
![在这里插入图片描述][6c7001a7280a45e59140dd58bead25a0.png]

### (2)sentinel的线程隔离 ###

**用法说明**：

在添加限流规则时，可以选择`两种阈值类型`：

![在这里插入图片描述][9b5586741bf34af8ba15335ef80b0443.png]

*  `QPS`：就是每秒的请求数，在快速入门中已经演示过
 *  `线程数`：是该资源能使用用的tomcat线程数的最大值。也就是通过限制线程数量，实现**线程隔离**（舱壁模式）。

**案例需求**：给 order-service服务中的UserClient的查询用户接口设置流控规则，线程数不能超过 2。然后利用jemeter测试。

#### 1）配置隔离规则 ####

选择feign接口后面的流控按钮：

![在这里插入图片描述][8bcc94a88e784de1997c719b2d72a3d1.png]

填写表单：

![在这里插入图片描述][bbda1be106394a4cbc6a92fce9a1af19.png]

#### 2）Jmeter测试 ####

选择《阈值类型-线程数<2》：

![在这里插入图片描述][cbfd3e6557db4acca9848ec415f1af3c.png]

一次发生10个请求，有较大概率并发线程数超过2，而超出的请求会走之前定义的失败降级逻辑。

查看运行结果：  
![在这里插入图片描述][0988fbe002cf4f3e97ff66fc7b3a3087.png]

发现虽然结果都是通过了，不过部分请求得到的响应是降级返回的null信息。

### 3.2.3.总结 ###

线程隔离的两种手段是？

*  `信号量隔离`
 *  `线程池隔离`

信号量隔离的特点是？

*  基于计数器模式，简单，开销小

线程池隔离的特点是？

*  基于线程池模式，有额外开销，但隔离控制更强

## 3)熔断降级 ##

`熔断降级`是`解决雪崩问题的重要手段`。其思路是由**断路器**统计服务调用的异常比例、慢请求比例，如果超出阈值则会**熔断**该服务。即`拦截访问该服务的一切请求`；而`当服务恢复时，断路器会放行访问该服务的请求`。

断路器控制熔断和放行是通过状态机来完成的：

![在这里插入图片描述][b10533b39c2843799027ee9d1a42f2cc.png]

状态机包括三个状态：

*  `closed`：`关闭状态`，断路器放行所有请求，并开始统计异常比例、慢请求比例。超过阈值则切换到open状态
 *  `open`：`打开状态`，服务调用被**熔断**，访问被熔断服务的请求会被拒绝，快速失败，直接走降级逻辑。Open状态5秒后会进入half-open状态
 *  `half-open`：`半开状态`，放行一次请求，根据执行结果来判断接下来的操作。
    
     *  `请求成功`：则切换到closed状态
     *  `请求失败`：则切换到open状态

断路器熔断策略有三种：慢调用、异常比例、异常数

### (1)慢调用 ###

**慢调用**：`业务的响应时长（RT）大于指定时长的请求认定为慢调用请求`。在指定时间内，如果请求数量超过设定的最小数量，慢调用比例大于设定的阈值，则触发熔断。

例如：

![在这里插入图片描述][dd1fba50e4a045b8ad5cdb761d220edb.png]

解读：RT超过500ms的调用是慢调用，统计最近10000ms内的请求，如果请求量超过10次，并且慢调用比例不低于0.5，则触发熔断，熔断时长为5秒。然后进入half-open状态，放行一次请求做测试。

**案例**

需求：给 UserClient的查询用户接口设置降级规则，慢调用的RT阈值为50ms，统计时间为1秒，最小请求数量为5，失败阈值比例为0.4，熔断时长为5

#### 1）设置慢调用 ####

修改user-service中的/user/\{id\}这个接口的业务。通过休眠模拟一个延迟时间：  
![在这里插入图片描述][12fa49e4a32a41768252bff5418747e1.png]

此时，orderId=101的订单，关联的是id为1的用户，调用时长为60ms：

![在这里插入图片描述][d417d51c716d4c2f96c2b82752e2774e.png]

orderId=102的订单，关联的是id为2的用户，调用时长为非常短；

![在这里插入图片描述][e26d721c238e48089105e271a081b705.png]

#### 2）设置熔断规则 ####

下面，给feign接口设置降级规则：

![在这里插入图片描述][fd6be7b3b7a3440bae7beab086a83347.png]

规则：

![在这里插入图片描述][9c4e327dd4824a5da8657f86d8899e62.png]

超过50ms的请求都会被认为是慢请求

#### 3）测试 ####

在浏览器访问：http://localhost:8088/order/101，快速刷新5次，可以发现：

![在这里插入图片描述][767270c1b6cd4063908a946d4107c9b8.png]

触发了熔断，请求时长缩短至5ms，快速失败了，并且走降级逻辑，返回的null

在浏览器访问：http://localhost:8088/order/102，竟然也被熔断了：

![在这里插入图片描述][f9cf4f4bf1a64df8a20c22eec77c0089.png]

### (2)异常比例、异常数 ###

**异常比例或异常数**：`统计指定时间内的调用，如果调用次数超过指定请求数，并且出现异常的比例达到设定的比例阈值（或超过指定异常数），则触发熔断`。

例如，一个异常比例设置：

![在这里插入图片描述][bf2aae42632a451a84342fa395c82c3a.png]

解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于0.4，则触发熔断。

一个异常数设置：

![在这里插入图片描述][1b304f8c284d417a9109be4e60dcfe82.png]

解读：统计最近1000ms内的请求，如果请求量超过10次，并且异常比例不低于2次，则触发熔断。

**案例**

需求：给 UserClient的查询用户接口设置降级规则，统计时间为1秒，最小请求数量为5，失败阈值比例为0.4，熔断时长为5s

#### 1）设置异常请求 ####

首先，修改user-service中的/user/\{id\}这个接口的业务。手动抛出异常，以触发异常比例的熔断：  
![在这里插入图片描述][d58596655566478f8213e85fdbe52afa.png]

也就是说，id 为 2时，就会触发异常

#### 2）设置熔断规则 ####

下面，给feign接口设置降级规则：

![在这里插入图片描述][8389df4103b44158bd16ca424eb7000b.png]

规则：

![在这里插入图片描述][046d03ce3e2a49a6afc6a31cc9bdb2e3.png]

在5次请求中，只要异常比例超过0.4，也就是有2次以上的异常，就会触发熔断。

#### 3）测试 ####

在浏览器快速访问：http://localhost:8088/order/102，快速刷新5次，触发熔断：

![在这里插入图片描述][9ba6eb0879fb4410b7ca8193333223ff.png]

此时，我们去访问本来应该正常的103：

![在这里插入图片描述][319dbde3125b44afb359c370c0ffe96b.png]

# 4.授权规则 #

授权规则可以对请求方来源做判断和控制。

## 1)授权规则 ##

### (1)基本规则 ###

`授权规则`可以对调用方的来源做控制，有`白名单`和`黑名单`两种方式。

*  `白名单`：`来源（origin）在白名单内的调用者允许访问`
 *  `黑名单`：`来源（origin）在黑名单内的调用者不允许访问`

点击左侧菜单的授权，可以看到授权规则：

![在这里插入图片描述][7f722e8b2c0b418694c0fb2b73280f0b.png]

*  `资源名`：就是受保护的资源，例如/order/\{orderId\}
 *  `流控应用`：是来源者的名单，
    
     *  如果是勾选白名单，则名单中的来源被许可访问。
     *  如果是勾选黑名单，则名单中的来源被禁止访问。

比如：

![在这里插入图片描述][a87e105f6aca44cb9479bd11a49529ef.png]

我们允许请求从gateway到order-service，不允许浏览器访问order-service，那么白名单中就要填写**网关的来源名称（origin）**。

### (2)如何获取origin ###

Sentinel是通过RequestOriginParser这个接口的parseOrigin来获取请求的来源的。

public interface RequestOriginParser {
        
        /**
         * 从请求request对象中获取origin，获取方式自定义
         */
        String parseOrigin(HttpServletRequest request);
    }

这个方法的作用就是从request对象中，获取请求者的origin值并返回。

默认情况下，sentinel不管请求者从哪里来，返回值永远是default，也就是说一切请求的来源都被认为是一样的值default。

因此，我们需要自定义这个接口的实现，让**不同的请求，返回不同的origin**。

例如order-service服务中，我们定义一个RequestOriginParser的实现类：

package cn.itcast.order.sentinel;
    
    import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.RequestOriginParser;
    import org.springframework.stereotype.Component;
    import org.springframework.util.StringUtils;
    
    import javax.servlet.http.HttpServletRequest;
    
    @Component
    public class HeaderOriginParser implements RequestOriginParser {
        
        @Override
        public String parseOrigin(HttpServletRequest request) {
        
            // 1.获取请求头
            String origin = request.getHeader("origin");
            // 2.非空判断
            if (StringUtils.isEmpty(origin)) {
        
                origin = "blank";
            }
            return origin;
        }
    }

我们会尝试从request-header中获取origin值。

### (3)给网关添加请求头 ###

既然获取请求`origin的方式`是从`reques-header中获取origin值`，我们必须让**所有从gateway路由到微服务的请求都带上origin头**。

这个需要利用之前学习的一个`GatewayFilter`来实现，`AddRequestHeaderGatewayFilter`。

修改`gateway服务中的application.yml`，添加一个`defaultFilter`：

spring:
      cloud:
        gateway:
          default-filters:
            - AddRequestHeader=origin,gateway
          routes:
           # ...略

这样，从gateway路由的所有请求都会带上origin头，值为gateway。而从其它地方到达微服务的请求则没有这个头。

### (4)配置授权规则 ###

接下来，我们添加一个授权规则，放行origin值为gateway的请求。

![在这里插入图片描述][9db96c4ea420458dbd900aef58374ded.png]

![在这里插入图片描述][468a57db5e25429a82e9a55d6d372bd5.png]

现在，我们直接跳过网关，访问order-service服务：

![在这里插入图片描述][c680c29bef0f44fe92e27807d9ce7e1b.png]

通过网关访问：  
![在这里插入图片描述][d84e0958e45d404cb486dbc376921304.png]

## 2)自定义异常结果 ##

默认情况下，发生`限流、降级、授权拦截`时，都会`抛出异常到调用方`。异常结果都是`flow limmiting（限流`）。这样不够友好，无法得知是限流还是降级还是授权拦截。

### (1)异常类型 ###

而如果要自定义异常时的返回结果，需要实现BlockExceptionHandler接口：

public interface BlockExceptionHandler {
        
        /**
         * 处理请求被限流、降级、授权拦截时抛出的异常：BlockException
         */
        void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception;
    }

这个方法有三个参数：

*  `HttpServletRequest request`：request对象
 *  `HttpServletResponse response`：response对象
 *  `BlockExceptione`：被sentinel拦截时抛出的异常

这里的BlockException包含多个不同的子类：

<table> 
 <thead> 
  <tr> 
   <th><strong>异常</strong></th> 
   <th><strong>说明</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>FlowException</td> 
   <td>限流异常</td> 
  </tr> 
  <tr> 
   <td>ParamFlowException</td> 
   <td>热点参数限流的异常</td> 
  </tr> 
  <tr> 
   <td>DegradeException</td> 
   <td>降级异常</td> 
  </tr> 
  <tr> 
   <td>AuthorityException</td> 
   <td>授权规则异常</td> 
  </tr> 
  <tr> 
   <td>SystemBlockException</td> 
   <td>系统规则异常</td> 
  </tr> 
 </tbody> 
</table>

### (2)自定义异常处理 ###

下面，我们就在order-service定义一个自定义异常处理类：

package cn.itcast.order.sentinel;
    
    import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.BlockExceptionHandler;
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import com.alibaba.csp.sentinel.slots.block.authority.AuthorityException;
    import com.alibaba.csp.sentinel.slots.block.degrade.DegradeException;
    import com.alibaba.csp.sentinel.slots.block.flow.FlowException;
    import com.alibaba.csp.sentinel.slots.block.flow.param.ParamFlowException;
    import org.springframework.stereotype.Component;
    
    import javax.servlet.http.HttpServletRequest;
    import javax.servlet.http.HttpServletResponse;
    
    @Component
    public class SentinelExceptionHandler implements BlockExceptionHandler {
        
        @Override
        public void handle(HttpServletRequest request, HttpServletResponse response, BlockException e) throws Exception {
        
            String msg = "未知异常";
            int status = 429;
    
            if (e instanceof FlowException) {
        
                msg = "请求被限流了";
            } else if (e instanceof ParamFlowException) {
        
                msg = "请求被热点参数限流";
            } else if (e instanceof DegradeException) {
        
                msg = "请求被降级了";
            } else if (e instanceof AuthorityException) {
        
                msg = "没有权限访问";
                status = 401;
            }
    
            response.setContentType("application/json;charset=utf-8");
            response.setStatus(status);
            response.getWriter().println("{\"msg\": " + msg + ", \"status\": " + status + "}");
        }
    }

重启测试，在不同场景下，会返回不同的异常消息.

限流：

![在这里插入图片描述][4beb2355114842bd83a75e45ea6297d4.png]

授权拦截时：

![在这里插入图片描述][25c5a39274784d37b58acc38452f077a.png]

# 5.规则持久化 #

现在，sentinel的所有规则都是内存存储，重启后所有规则都会丢失。在生产环境下，我们必须确保这些规则的持久化，避免丢失。

## 1)规则管理模式 ##

规则是否能持久化，取决于规则管理模式，sentinel支持三种规则管理模式：

*  `原始模式`：Sentinel的默认模式，将规则保存在内存，重启服务会丢失。
 *  `pull模式`
 *  `push模式`

### (1)pull模式 ###

`pull模式`：`控制台将配置的规则推送到Sentinel客户端，而客户端会将配置规则保存在本地文件或数据库中`。以后会定时去本地文件或数据库中查询，更新本地规则。

![在这里插入图片描述][b6e688a962eb44759e6cffdd81382bbf.png]

### (2)push模式 ###

`push模式`：`控制台将配置规则推送到远程配置中心，例如Nacos。Sentinel客户端监听Nacos，获取配置变更的推送消息，完成本地配置更新。`  
![在这里插入图片描述][d299a989aa8f40178b86a1fc3ddeb3d6.png]

## 2)实现push模式 ##

详细步骤可以参考课前资料的《sentinel规则持久化》：

![在这里插入图片描述][65bc92906e7244eab88377ef11f4224f.png]

[28247acf2a36411aab2a9abc1d1016ee.png]: https://img-blog.csdnimg.cn/28247acf2a36411aab2a9abc1d1016ee.png
[a18cbb0ebeac41699666d90c78d3ef94.png]: https://img-blog.csdnimg.cn/a18cbb0ebeac41699666d90c78d3ef94.png
[cb3856a747d14d3e9b4627b2a669cdc4.png]: https://img-blog.csdnimg.cn/cb3856a747d14d3e9b4627b2a669cdc4.png
[e45eac2908cf4b4db83fd3b26776e003.png]: https://img-blog.csdnimg.cn/e45eac2908cf4b4db83fd3b26776e003.png
[7bd59b9241d24a61bbb3e7a050ff617c.png]: https://img-blog.csdnimg.cn/7bd59b9241d24a61bbb3e7a050ff617c.png
[82a7ac0991584cbdbbaeaf6ad3d94cca.png]: https://img-blog.csdnimg.cn/82a7ac0991584cbdbbaeaf6ad3d94cca.png
[db522284c576487790e19c46d9b61c6f.png]: https://img-blog.csdnimg.cn/db522284c576487790e19c46d9b61c6f.png
[b9f4124d821e4ad4bcb281e88c6e4400.png]: https://img-blog.csdnimg.cn/b9f4124d821e4ad4bcb281e88c6e4400.png
[0da2328718c0450c9d944ebbf25f2fd1.png]: https://img-blog.csdnimg.cn/0da2328718c0450c9d944ebbf25f2fd1.png
[b9230ce2f14a4f00b8aa6032b30448e7.png]: https://img-blog.csdnimg.cn/b9230ce2f14a4f00b8aa6032b30448e7.png
[bd0c1177ab6c45838500fa800232e99d.png]: https://img-blog.csdnimg.cn/bd0c1177ab6c45838500fa800232e99d.png
[Netfix Hystrix]: https://github.com/Netflix/Hystrix
[Sentinel]: https://github.com/alibaba/Sentinel
[Resilience4J]: https://github.com/resilience4j/resilience4j
[GitHub]: https://github.com/alibaba/Sentinel/releases
[81d73d184b1a40c685d19d1d0973110c.png]: https://img-blog.csdnimg.cn/81d73d184b1a40c685d19d1d0973110c.png
[e61ed571af764e79b5e7e37b04074582.png]: https://img-blog.csdnimg.cn/e61ed571af764e79b5e7e37b04074582.png
[b99ef59dda8646f6a7062cb9c1b021de.png]: https://img-blog.csdnimg.cn/b99ef59dda8646f6a7062cb9c1b021de.png
[008c1f1833554e339f35505107ed0175.png]: https://img-blog.csdnimg.cn/008c1f1833554e339f35505107ed0175.png
[0fca621610f04cab97b8877931fba40e.png]: https://img-blog.csdnimg.cn/0fca621610f04cab97b8877931fba40e.png
[5f0a31e48718496d8eb680fa1407c972.png]: https://img-blog.csdnimg.cn/5f0a31e48718496d8eb680fa1407c972.png
[d71b1bc94f9c48549244ba96abbc2bcb.png]: https://img-blog.csdnimg.cn/d71b1bc94f9c48549244ba96abbc2bcb.png
[ad5029cd8904479984b3d5465585d297.png]: https://img-blog.csdnimg.cn/ad5029cd8904479984b3d5465585d297.png
[b3cbd699176a4c4fbe0c03ba1d6b265a.png]: https://img-blog.csdnimg.cn/b3cbd699176a4c4fbe0c03ba1d6b265a.png
[a95d18a45a844e6aa8b7eaabc2fb9a96.png]: https://img-blog.csdnimg.cn/a95d18a45a844e6aa8b7eaabc2fb9a96.png
[4878822a739f4520b840c3b18c149d19.png]: https://img-blog.csdnimg.cn/4878822a739f4520b840c3b18c149d19.png
[0be8f312b60b4f278ac3fd1cabaaa15d.png]: https://img-blog.csdnimg.cn/0be8f312b60b4f278ac3fd1cabaaa15d.png
[5a611d9859164c72bbead0511ff87fc5.png]: https://img-blog.csdnimg.cn/5a611d9859164c72bbead0511ff87fc5.png
[b9f891837f534ece9e5026c0d01bce08.png]: https://img-blog.csdnimg.cn/b9f891837f534ece9e5026c0d01bce08.png
[5022569b0865405caaf9763f2c72bb27.png]: https://img-blog.csdnimg.cn/5022569b0865405caaf9763f2c72bb27.png
[ead1c89ed7c54d309f58336bedac58c1.png]: https://img-blog.csdnimg.cn/ead1c89ed7c54d309f58336bedac58c1.png
[59287940bb924b99835c6ed962181873.png]: https://img-blog.csdnimg.cn/59287940bb924b99835c6ed962181873.png
[991b274807c74a20b1f8159ff30d4a80.png]: https://img-blog.csdnimg.cn/991b274807c74a20b1f8159ff30d4a80.png
[e7744a3e26d848658f558634afb3e7ba.png]: https://img-blog.csdnimg.cn/e7744a3e26d848658f558634afb3e7ba.png
[44b6d1ac7f4a43bc88034f5cad772aea.png]: https://img-blog.csdnimg.cn/44b6d1ac7f4a43bc88034f5cad772aea.png
[01b8e476c1a045cab3790410457e2da8.png]: https://img-blog.csdnimg.cn/01b8e476c1a045cab3790410457e2da8.png
[21f4f82249264cecb2895282dc1edac9.png]: https://img-blog.csdnimg.cn/21f4f82249264cecb2895282dc1edac9.png
[ae91974aae8b44c7988386649d6195ff.png]: https://img-blog.csdnimg.cn/ae91974aae8b44c7988386649d6195ff.png
[609337014f974905881d46b4f2639414.png]: https://img-blog.csdnimg.cn/609337014f974905881d46b4f2639414.png
[1]: https://img-blog.csdnimg.cn/2b2c30dbcb7f43fdad888543551ed5d7.png
[f1911dd9c53e4e70abaf5bf8570fc9c3.png]: https://img-blog.csdnimg.cn/f1911dd9c53e4e70abaf5bf8570fc9c3.png
[4798064af1ef4032bbd9e0c0b75e0bfa.png]: https://img-blog.csdnimg.cn/4798064af1ef4032bbd9e0c0b75e0bfa.png
[e6941ea5093d44e9b845b3a1fa6d0e83.png]: https://img-blog.csdnimg.cn/e6941ea5093d44e9b845b3a1fa6d0e83.png
[14671369ee3b459bb3aceeff67563473.png]: https://img-blog.csdnimg.cn/14671369ee3b459bb3aceeff67563473.png
[792d3d75721f43d1b07f5d9b30e10a03.png]: https://img-blog.csdnimg.cn/792d3d75721f43d1b07f5d9b30e10a03.png
[1c56b9f215184786aeca5493e96c97b5.png]: https://img-blog.csdnimg.cn/1c56b9f215184786aeca5493e96c97b5.png
[1f5ceb8e26dd425e9cac95de332521c6.png]: https://img-blog.csdnimg.cn/1f5ceb8e26dd425e9cac95de332521c6.png
[3d328b4f44334d3a9d54c67b62bd2357.png]: https://img-blog.csdnimg.cn/3d328b4f44334d3a9d54c67b62bd2357.png
[206affe6e2f143ad85a98aea5eb8c9da.png]: https://img-blog.csdnimg.cn/206affe6e2f143ad85a98aea5eb8c9da.png
[7803c731533145588f9a4f6bff64063e.png]: https://img-blog.csdnimg.cn/7803c731533145588f9a4f6bff64063e.png
[8e5410a048e5418886ab8fcd205853d6.png]: https://img-blog.csdnimg.cn/8e5410a048e5418886ab8fcd205853d6.png
[3f7cf76acf1f4d628d50aa21cebbb3fe.png]: https://img-blog.csdnimg.cn/3f7cf76acf1f4d628d50aa21cebbb3fe.png
[1a183b4e666a43fe8ec665f4582baf4b.png]: https://img-blog.csdnimg.cn/1a183b4e666a43fe8ec665f4582baf4b.png
[9de9d1672f4345b185f4013d64431704.png]: https://img-blog.csdnimg.cn/9de9d1672f4345b185f4013d64431704.png
[19d99e6081824de899daecf854ac1b15.png]: https://img-blog.csdnimg.cn/19d99e6081824de899daecf854ac1b15.png
[16343add78864f0780863896b8e5585f.png]: https://img-blog.csdnimg.cn/16343add78864f0780863896b8e5585f.png
[731b4de4b1724aebbf755a971dd0d9c2.png]: https://img-blog.csdnimg.cn/731b4de4b1724aebbf755a971dd0d9c2.png
[082efbba636c4b0ba5c82d1d8d27c27d.png]: https://img-blog.csdnimg.cn/082efbba636c4b0ba5c82d1d8d27c27d.png
[d07bb4c586e74c42bea252a8165226ad.png]: https://img-blog.csdnimg.cn/d07bb4c586e74c42bea252a8165226ad.png
[99734641e61c4e698b80fa592a2d6afc.png]: https://img-blog.csdnimg.cn/99734641e61c4e698b80fa592a2d6afc.png
[435ae169c7454671bf82c9705e8ca576.png]: https://img-blog.csdnimg.cn/435ae169c7454671bf82c9705e8ca576.png
[58fac78160d245f08ee90a3db98acc69.png]: https://img-blog.csdnimg.cn/58fac78160d245f08ee90a3db98acc69.png
[227f5eabfa804005976f397cb84f13e3.png]: https://img-blog.csdnimg.cn/227f5eabfa804005976f397cb84f13e3.png
[ce7cf10a9b9a4c809756ad061b0f80c3.png]: https://img-blog.csdnimg.cn/ce7cf10a9b9a4c809756ad061b0f80c3.png
[134a347ca86b423aa02429d3d8accada.png]: https://img-blog.csdnimg.cn/134a347ca86b423aa02429d3d8accada.png
[c41e92be1ac449fdbfa5746fa47b4c86.png]: https://img-blog.csdnimg.cn/c41e92be1ac449fdbfa5746fa47b4c86.png
[508fb2820cf44f1aab7ca2c5f8db4787.png]: https://img-blog.csdnimg.cn/508fb2820cf44f1aab7ca2c5f8db4787.png
[06a5d16c51784225aed4427ad9b3b6f8.png]: https://img-blog.csdnimg.cn/06a5d16c51784225aed4427ad9b3b6f8.png
[4d1e8ccbb87841ba9dade7245a79f353.png]: https://img-blog.csdnimg.cn/4d1e8ccbb87841ba9dade7245a79f353.png
[17d0306d8b1b46dd8c42e1dab35a96f1.png]: https://img-blog.csdnimg.cn/17d0306d8b1b46dd8c42e1dab35a96f1.png
[7ab6143808e14915a4d711ea39ce9262.png]: https://img-blog.csdnimg.cn/7ab6143808e14915a4d711ea39ce9262.png
[90907c44d7c44313bcca5dbe73e0faa8.png]: https://img-blog.csdnimg.cn/90907c44d7c44313bcca5dbe73e0faa8.png
[7640adf458dc49d492d203e42f459352.png]: https://img-blog.csdnimg.cn/7640adf458dc49d492d203e42f459352.png
[003d5249ed1e4a01b68478d7dd79a9a7.png]: https://img-blog.csdnimg.cn/003d5249ed1e4a01b68478d7dd79a9a7.png
[555bca362dbf4202a7bf9137a83a7a31.png]: https://img-blog.csdnimg.cn/555bca362dbf4202a7bf9137a83a7a31.png
[ea55aa03aaf54b94913f054f8979172b.png]: https://img-blog.csdnimg.cn/ea55aa03aaf54b94913f054f8979172b.png
[f36a1073e480433caadfc57d1122aec2.png]: https://img-blog.csdnimg.cn/f36a1073e480433caadfc57d1122aec2.png
[23b5025597b34b8ea4dd2a8d66c71011.png]: https://img-blog.csdnimg.cn/23b5025597b34b8ea4dd2a8d66c71011.png
[e323da5ca9fe49ffa8ebbfb48e2ee2a6.png]: https://img-blog.csdnimg.cn/e323da5ca9fe49ffa8ebbfb48e2ee2a6.png
[6c7001a7280a45e59140dd58bead25a0.png]: https://img-blog.csdnimg.cn/6c7001a7280a45e59140dd58bead25a0.png
[9b5586741bf34af8ba15335ef80b0443.png]: https://img-blog.csdnimg.cn/9b5586741bf34af8ba15335ef80b0443.png
[8bcc94a88e784de1997c719b2d72a3d1.png]: https://img-blog.csdnimg.cn/8bcc94a88e784de1997c719b2d72a3d1.png
[bbda1be106394a4cbc6a92fce9a1af19.png]: https://img-blog.csdnimg.cn/bbda1be106394a4cbc6a92fce9a1af19.png
[cbfd3e6557db4acca9848ec415f1af3c.png]: https://img-blog.csdnimg.cn/cbfd3e6557db4acca9848ec415f1af3c.png
[0988fbe002cf4f3e97ff66fc7b3a3087.png]: https://img-blog.csdnimg.cn/0988fbe002cf4f3e97ff66fc7b3a3087.png
[b10533b39c2843799027ee9d1a42f2cc.png]: https://img-blog.csdnimg.cn/b10533b39c2843799027ee9d1a42f2cc.png
[dd1fba50e4a045b8ad5cdb761d220edb.png]: https://img-blog.csdnimg.cn/dd1fba50e4a045b8ad5cdb761d220edb.png
[12fa49e4a32a41768252bff5418747e1.png]: https://img-blog.csdnimg.cn/12fa49e4a32a41768252bff5418747e1.png
[d417d51c716d4c2f96c2b82752e2774e.png]: https://img-blog.csdnimg.cn/d417d51c716d4c2f96c2b82752e2774e.png
[e26d721c238e48089105e271a081b705.png]: https://img-blog.csdnimg.cn/e26d721c238e48089105e271a081b705.png
[fd6be7b3b7a3440bae7beab086a83347.png]: https://img-blog.csdnimg.cn/fd6be7b3b7a3440bae7beab086a83347.png
[9c4e327dd4824a5da8657f86d8899e62.png]: https://img-blog.csdnimg.cn/9c4e327dd4824a5da8657f86d8899e62.png
[767270c1b6cd4063908a946d4107c9b8.png]: https://img-blog.csdnimg.cn/767270c1b6cd4063908a946d4107c9b8.png
[f9cf4f4bf1a64df8a20c22eec77c0089.png]: https://img-blog.csdnimg.cn/f9cf4f4bf1a64df8a20c22eec77c0089.png
[bf2aae42632a451a84342fa395c82c3a.png]: https://img-blog.csdnimg.cn/bf2aae42632a451a84342fa395c82c3a.png
[1b304f8c284d417a9109be4e60dcfe82.png]: https://img-blog.csdnimg.cn/1b304f8c284d417a9109be4e60dcfe82.png
[d58596655566478f8213e85fdbe52afa.png]: https://img-blog.csdnimg.cn/d58596655566478f8213e85fdbe52afa.png
[8389df4103b44158bd16ca424eb7000b.png]: https://img-blog.csdnimg.cn/8389df4103b44158bd16ca424eb7000b.png
[046d03ce3e2a49a6afc6a31cc9bdb2e3.png]: https://img-blog.csdnimg.cn/046d03ce3e2a49a6afc6a31cc9bdb2e3.png
[9ba6eb0879fb4410b7ca8193333223ff.png]: https://img-blog.csdnimg.cn/9ba6eb0879fb4410b7ca8193333223ff.png
[319dbde3125b44afb359c370c0ffe96b.png]: https://img-blog.csdnimg.cn/319dbde3125b44afb359c370c0ffe96b.png
[7f722e8b2c0b418694c0fb2b73280f0b.png]: https://img-blog.csdnimg.cn/7f722e8b2c0b418694c0fb2b73280f0b.png
[a87e105f6aca44cb9479bd11a49529ef.png]: https://img-blog.csdnimg.cn/a87e105f6aca44cb9479bd11a49529ef.png
[9db96c4ea420458dbd900aef58374ded.png]: https://img-blog.csdnimg.cn/9db96c4ea420458dbd900aef58374ded.png
[468a57db5e25429a82e9a55d6d372bd5.png]: https://img-blog.csdnimg.cn/468a57db5e25429a82e9a55d6d372bd5.png
[c680c29bef0f44fe92e27807d9ce7e1b.png]: https://img-blog.csdnimg.cn/c680c29bef0f44fe92e27807d9ce7e1b.png
[d84e0958e45d404cb486dbc376921304.png]: https://img-blog.csdnimg.cn/d84e0958e45d404cb486dbc376921304.png
[4beb2355114842bd83a75e45ea6297d4.png]: https://img-blog.csdnimg.cn/4beb2355114842bd83a75e45ea6297d4.png
[25c5a39274784d37b58acc38452f077a.png]: https://img-blog.csdnimg.cn/25c5a39274784d37b58acc38452f077a.png
[b6e688a962eb44759e6cffdd81382bbf.png]: https://img-blog.csdnimg.cn/b6e688a962eb44759e6cffdd81382bbf.png
[d299a989aa8f40178b86a1fc3ddeb3d6.png]: https://img-blog.csdnimg.cn/d299a989aa8f40178b86a1fc3ddeb3d6.png
[65bc92906e7244eab88377ef11f4224f.png]: https://img-blog.csdnimg.cn/65bc92906e7244eab88377ef11f4224f.png