第三篇 SpringCloud Alibaba Sentinel实现熔断与限流(上篇)

蔚落 2022-12-02 15:16 185阅读 0赞

## 1.Sentinel介绍 ##

分布式系统的流量防卫兵

### 1.1官网地址 ###

[https://github.com/alibaba/Sentinel/wiki/%E4%BB%8B%E7%BB%8D][https_github.com_alibaba_Sentinel_wiki_E4_BB_8B_E7_BB_8D]

### 1.2是什么 ###

和Hystrix类似

轻量级的流量控制、熔断降级Java库。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。

### 1.3去哪下 ###

[https://github.com/alibaba/Sentinel/releases][https_github.com_alibaba_Sentinel_releases]  
![在这里插入图片描述][20200831194217710.png_pic_center]

### 1.4能干什么 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center]\#\#\#\# 1.5怎么用

服务使用中的各种问题

*  服务雪崩
 *  服务降级
 *  服务熔断
 *  服务限流

## 2.安装Sentinel控制台 ##

### 2.1sentinel组件由2部分组成 ###

Sentinel 分为两个部分:

*  核心库（Java 客户端）不依赖任何框架/库，能够运行于所有 Java 运行时环境，同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
 *  控制台（Dashboard）基于 Spring Boot 开发，打包后可以直接运行，不需要额外的 Tomcat 等应用容器。

### 2.2安装步骤 ###

#### 2.2.1下载 ####

下载地址:[https://github.com/alibaba/Sentinel/releases][https_github.com_alibaba_Sentinel_releases]

#### 2.2.2运行命令 ####

前提

*  JDK8环境
 *  8080端口不能被占用

启动命令

java -jar sentinel-dashboard-1.7.0.jar

## 3.初始化演示工程 ##

启动注册中心nacos

### 3.1新建Maven Module ###

cloudalibaba-sentinel-service

### 3.2POM ###

<dependencies>
    
            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
            </dependency>
    
            <dependency>
                <groupId>com.alibaba.csp</groupId>
                <artifactId>sentinel-datasource-nacos</artifactId>
            </dependency>
    
            <dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>
    
    
    
    
    
    
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-actuator</artifactId>
            </dependency>
    
    
    
    
    
    
    
    
    
    
    
    
            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <optional>true</optional>
            </dependency>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-test</artifactId>
                <scope>test</scope>
            </dependency>
    
        </dependencies>

### 3.3配置文件 ###

server:
      port: 8401
    
    spring:
      application:
        name: cloudalibaba-sentinel-service
      cloud:
        nacos:
          discovery:
            server-addr: localhost:8848
        sentinel:
          transport:
            dashboard: localhost:8080 # 仪表板地址
            port: 8719 #sentinel api端口 默认8719，假如被占用了会自动从8719开始依次+1扫描。直至找到未被占用的端口
    
    management:
      endpoints:
        web:
          exposure:
            include: '*'

### 3.4主启动类 ###

import org.springframework.boot.SpringApplication;
    import org.springframework.boot.autoconfigure.SpringBootApplication;
    import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
    
    /** * create date 2020-08-27 19:29 by niugang */
    @EnableDiscoveryClient
    @SpringBootApplication
    public class SentinelApplication
    { 
        public static void main(String[] args) { 
            SpringApplication.run(SentinelApplication.class, args);
        }
    }

### 3.5业务类 ###

import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    /** * create date 2020-08-27 19:30 by niugang */
    @RestController
    public class FlowLimitController { 
    
        @GetMapping("/testA")
        public String testA() { 
            return "------testA";
        }
    
        @GetMapping("/testB")
        public String testB() { 
    
            return "------testB";
        }
    
    
    }

### 3.6启动Sentinel8080 ###

java -jar sentinel.jar

### 3.7启动微服务8401 ###

### 3.8启动8401微服务后查看sentienl控制台 ###

（1）.空空如也，啥都没有

（2）.Sentinel采用的懒加载说明

执行一次访问即可

[http://localhost:8401/testA][http_localhost_8401_testA]

查看效果图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 1](4).结论

sentinel8080正在监控微服务8401

## 4.流控规则 ##

**流量控制**（flow control），其原理是监控应用流量的 QPS 或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。

### 4.1基本介绍 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 2]进一步解释说明  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 4]\#\#\# 4.2流控模式

#### 4.2.3直接（默认） ####

直接->快速失败 ->系统默认

**配置及说明**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 5]注意：资源名称配置 开头必须是“/”,否则配置得路径不生效，无法做流控

**测试**

快速点击访问http://localhost:8401/testA

结果:Blocked by Sentinel (flow limiting)  
![在这里插入图片描述][20200831194456139.png_pic_center]  
直接调用默认报错信息，技术方面OK but，是否应该有我们自己的后续处理？

#### 4.2.4关联 ####

**是什么关联流控模式**

当关联的资源达到阈值时，就限流自己

当与A关联的资源B达到阈值后，就限流自己

B惹事，A挂了

**配置A**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 6]  
**postman模拟并发密集访问testB**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 7]  
**Run**

大批量线程高并发访问B，导致A失效了

**运行后发现testA挂了**

点击访问http://localhost:8401/testA

结果  
![在这里插入图片描述][20200831194554794.png_pic_center]

#### 4.2.5链路 ####

多个请求调用了同一个微服务

### 4.3流控效果 ###

当 QPS 超过某个阈值的时候，则采取措施进行流量控制。流量控制的效果包括以下几种：**直接拒绝**、**Warm Up**、**匀速排队**。

#### 4.3.1直接->快速失败（默认的流控处理）===直接拒绝 ####

直接失败，抛出异常

**直接拒绝**（`RuleConstant.CONTROL_BEHAVIOR_DEFAULT`）方式是默认的流量控制方式，当QPS超过任意规则的阈值后，新的请求就会被立即拒绝，拒绝方式为抛出`FlowException`。这种方式适用于对系统处理能力确切已知的情况下，比如通过压测确定了系统的准确水位时

**源码**

com.alibaba.csp.sentinel.slots.block.flow.controller.DefaultController

#### 4.3.2预热 ####

**说明**

公式：阈值除以coldFactor（默认值为3），经过预热时长后才会达到阈值

**官网**

Warm Up（`RuleConstant.CONTROL_BEHAVIOR_WARM_UP`）方式，即预热/冷启动方式。当系统长期处于低水位的情况下，当流量突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮。通过"冷启动"，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。详细文档可以参考 [流量控制 - Warm Up 文档][- Warm Up]，具体的例子可以参见 [WarmUpFlowDemo][]。

通常冷启动的过程系统允许通过的 QPS 曲线如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 8]默认coldFactor为3，即请求QPS从threshold/3开始，经预热时长逐渐升至设定的QPS阈值。

**冷启动**

[https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81—%E5%86%B7%E5%90%AF%E5%8A%A8][- Warm Up]

**源码**

com.alibaba.csp.sentinel.slots.block.flow.controller.WarmUpController  
![在这里插入图片描述][20200831195354560.png_pic_center]  
**Warmup配置**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 9]  
多次点击http://localhost:8401/testB,刚开始不行，后续慢慢OK  
**应用场景**  
![在这里插入图片描述][2020083119543290.png_pic_center]

#### 4.3.3排队等待(匀速排队) ####

匀速排队（`RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER`）方式会严格控制请求通过的间隔时间，也即是让请求以均匀的速度通过，对应的是漏桶算法  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 10]  
**源码**

com.alibaba.csp.sentinel.slots.block.flow.controller.RateLimiterController

**测试**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 11]

## 5.降级规则 ##

[https://github.com/alibaba/Sentinel/wiki/%E7%86%94%E6%96%AD%E9%99%8D%E7%BA%A7][https_github.com_alibaba_Sentinel_wiki_E7_86_94_E6_96_AD_E9_99_8D_E7_BA_A7]

### 5.1基本介绍 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 13]  
**进一步说明**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 14]  
Sentinel的断路器是没有半开状态的:

半开的状态系统自动去检测是否请求有异常，没有异常就关闭断路器恢复使用，有异常则继续打开断路器不可用。具体可以参考Hystrix

复习Hystrix:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 16]

### 5.2降级策略实战 ###

#### 5.2.1RT ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 17]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 18]  
**测试**

代码

@GetMapping("/testD")
        public String testD() { 
            try { 
                TimeUnit.SECONDS.sleep(1);
            } catch (InterruptedException e) { 
                e.printStackTrace();
                Thread.currentThread().interrupt();
            }
            log.info("testD 测试RT");
    
            return "------testD";
        }

配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 19]  
结论  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 20]  
![在这里插入图片描述][20200831195724751.png_pic_center]

#### 5.2.2异常比例 ####

![在这里插入图片描述][20200831195738983.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 21]  
**测试**

**代码**

@GetMapping("/testD")
     public String testD()
        { 
            log.info("testD 测试RT");
            int age = 10/0;
            return "------testD";
        }

**配置**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 22]  
**jemeter**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 23]  
**结论**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 24]

#### 5.3异常数 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 25]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 26]  
异常数是按照分钟统计的

**代码**

@GetMapping("/testE")
        public String testE()
        { 
            log.info("testE 测试异常数");
            int age = 10/0;
            return "------testE 测试异常数";
        }

**配置**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 27]

## 6.热点key限流 ##

### 6.1基本介绍 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 28]

### 6.2官网 ###

[https://github.com/alibaba/Sentinel/wiki/%E7%83%AD%E7%82%B9%E5%8F%82%E6%95%B0%E9%99%90%E6%B5%81][https_github.com_alibaba_Sentinel_wiki_E7_83_AD_E7_82_B9_E5_8F_82_E6_95_B0_E9_99_90_E6_B5_81]

### 6.3承上启下复习start ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 29]@SentinelResource

### 6.4代码 ###

com.alibaba.csp.sentinel.slots.block.BlockException

### 6.5配置 ###

![在这里插入图片描述][20200901091419590.png_pic_center]参数索引为第一个参数

#### 第一种 ####

@SentinelResource(value = “testHotKey”)

异常打到了前台用户界面看不到，不友好

#### 第二种 ####

@SentinelResource(value = “testHotKey”,blockHandler = “deal\_testHotKey”)

方法testHostKey里面第一个参数只要QPS超过每秒1次，马上降级处理

用了我们自己定义的

### 6.5测试 ###

error：

http://localhost:8401/testHotKey?p1=abc

以为配置参数索引为0，即第一个参数

error:

http://localhost:8401/testHotKey?p1=abc&p2=33

以为配置参数索引为0，即第一个参数

right:

http://localhost:8401/testHotKey?p2=abc

### 6.6参数例外项 ###

上述案例演示了第一个参数p1,当QPS超过1秒1次点击后马上被限流

特殊情况

*  普通：超过1秒钟一个后，达到阈值1后马上被限流
 *  我们期望p1参数当它是某个特殊值时，它的限流值和平时不一样
 *  假如当p1的值等于5时，它的阈值可以达到200  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 30]**测试**

right:

http://localhost:8401/testHotKey?p1=5

error:

http://localhost:8401/testHotKey?p1=3

当p1等于5的时候，阈值变为200

当p1不等于5的时候，阈值就是平常的1

**前提条件**

热点参数的注意点，参数必须是基本类型或者String

### 6.7其他 ###

手贱添加异常看看…  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 31]

## 7.系统规则（系统自适应限流） ##

系统保护规则是从应用级别的入口流量进行控制，从单台机器的 load、CPU 使用率、平均 RT、入口 QPS 和并发线程数等几个维度监控应用指标，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

系统保护规则是应用整体维度的，而不是资源维度的，并且**仅对入口流量生效**。入口流量指的是进入应用的流量（`EntryType.IN`），比如 Web 服务或 Dubbo 服务端接收的请求，都属于入口流量。

系统规则支持以下的模式：

*  **Load 自适应**（仅对 Linux/Unix-like 机器生效）：系统的 load1 作为启发指标，进行自适应系统保护。当系统 load1 超过设定的启发值，且系统当前的并发线程数超过估算的系统容量时才会触发系统保护（BBR 阶段）。系统容量由系统的 `maxQps * minRt` 估算得出。设定参考值一般是 `CPU cores * 2.5`。
 *  **CPU usage**（1.5.0+ 版本）：当系统 CPU 使用率超过阈值即触发系统保护（取值范围 0.0-1.0），比较灵敏。
 *  **平均 RT**：当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护，单位是毫秒。
 *  **并发线程数**：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
 *  **入口 QPS**：当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。

**配置全局QPS**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70]

[https_github.com_alibaba_Sentinel_wiki_E4_BB_8B_E7_BB_8D]: https://github.com/alibaba/Sentinel/wiki/%E4%BB%8B%E7%BB%8D
[https_github.com_alibaba_Sentinel_releases]: https://github.com/alibaba/Sentinel/releases
[20200831194217710.png_pic_center]: /images/20221123/66be1c57b20e4026a5fcba977e9fa574.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/c6887f5212af4526a9f16ef551598210.png
[http_localhost_8401_testA]: http://localhost:8401/testA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/9e0f7b2c4e8247f7ae2a10aa46fd0c75.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/5dda20a1c04748a4a109c6c11c163af6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/908dee9487e14976908ecd06b6ffcfaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/d69706cf8fdd4fd6a48db2a7669a725a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/b6c9cfd6bc2c401fb372ea12b3a1818d.png
[20200831194456139.png_pic_center]: /images/20221123/c8eb59d4d11442958fe58a10fce2625f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/34e9b327ca384d7f9b9e4b98d8c7b99c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/3b55d675271c4cc4b3d2e3acb8475b53.png
[20200831194554794.png_pic_center]: /images/20221123/83c6e949918c4b3aa2be227cd7af5792.png
[- Warm Up]: https://github.com/alibaba/Sentinel/wiki/%E9%99%90%E6%B5%81---%E5%86%B7%E5%90%AF%E5%8A%A8
[WarmUpFlowDemo]: https://github.com/alibaba/Sentinel/blob/master/sentinel-demo/sentinel-demo-basic/src/main/java/com/alibaba/csp/sentinel/demo/flow/WarmUpFlowDemo.java
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/7cdaadb433e7427b91182779671d094b.png
[20200831195354560.png_pic_center]: /images/20221123/a32ba95b95ac4ee2bcbb2e2f465c20e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/95f52657bf2f478d820e315234d83842.png
[2020083119543290.png_pic_center]: /images/20221123/d8465b7d059541619475115ffb554742.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/563ebe1b4b914d45bc381c0fc549f390.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/ee4e3ff8ee0748158097db36ba2fbeaf.png
[https_github.com_alibaba_Sentinel_wiki_E7_86_94_E6_96_AD_E9_99_8D_E7_BA_A7]: https://github.com/alibaba/Sentinel/wiki/%E7%86%94%E6%96%AD%E9%99%8D%E7%BA%A7
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/208a009ce1ef4d2994f256cd3eab956a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/8e9d1260ab094087ac3a1a234163129b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221123/de2acf83b10c4303bb31a8b339010253.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221123/a37c7286dcd04f1ba5ecdaf1120733b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221123/5735b06079bd4e759dbe9fccc2a6db2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221123/9b6630f091e04febbfe263087f937ae4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20221123/d2e5ccbbe6a94b35b84cec3ff77af2e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 19]: /images/20221123/b27173e2634742fb923d19a404d01342.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 20]: /images/20221123/218c17cc206b4676ac443b2076ec5d89.png
[20200831195724751.png_pic_center]: /images/20221123/2a1ff8e853c8410ab7477fa6ba9b2a9a.png
[20200831195738983.png_pic_center]: /images/20221123/a3a63abf1ab14006880a56120a206664.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 21]: /images/20221123/9c7b37fd3ae2423097049af90ea105a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 22]: /images/20221123/fc451de073384183979436c4f63e80d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 23]: /images/20221123/879b3c94732e4e79ba10c2da061b8fc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 24]: /images/20221123/7e6f6b1cdbea4695b662f6dd028cd38d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 25]: /images/20221123/11f3490a3d214bbb845a0868576f2d5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 26]: /images/20221123/68128e2c7ba1445b9e7845326f06ceff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 27]: /images/20221123/a98e2dc2a9d54c9a9d838352b9fc148d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 28]: /images/20221123/f68ac8bdce0f477e9f1e7bdbd4a17b9e.png
[https_github.com_alibaba_Sentinel_wiki_E7_83_AD_E7_82_B9_E5_8F_82_E6_95_B0_E9_99_90_E6_B5_81]: https://github.com/alibaba/Sentinel/wiki/%E7%83%AD%E7%82%B9%E5%8F%82%E6%95%B0%E9%99%90%E6%B5%81
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 29]: /images/20221123/d2889f3b39af4cb09d7ea89ed9a6b578.png
[20200901091419590.png_pic_center]: /images/20221123/0fd0e872afc0449d995da01ca5382893.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 30]: /images/20221123/4b6ef91057234657a4d19c832a1bfd74.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70_pic_center 31]: /images/20221123/85122e070a9b448696b816ea6281ae32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25pdWdhbmcwOTIw_size_16_color_FFFFFF_t_70]: /images/20221123/a97507f93f5c4112afda3ce5d42c7ee9.png