SpringCloud详解05-熔断与服务降级

浅浅的花香味﹌ 2024-03-25 17:48 67阅读 0赞

## 系列文章目录 ##

--------------------

#### 文章目录 ####

*  系列文章目录
 *  前言
 *  一、熔断和服务降级
 *   *  1、分布式架构出现的问题
     *  2、解决方案
 *  二、Sentinel的使用步骤
 *   *  1.下载资源
     *  2.导入依赖
     *  3.启动sentinel
     *  4.添加配置
     *  5.查看sentinel控制面板
     *   *  实时监控
         *  簇点链路
         *  流控规则
         *  降级规则
     *  6.代码实现
     *  7、热点规则
     *  8、授权规则
 *  总结

--------------------

## 前言 ##

本篇记录SpringCloud熔断和服务降级组件Sentinel

--------------------

## 一、熔断和服务降级 ##

### 1、分布式架构出现的问题 ###

> 分布式系统中一个微服务需要依赖于很多的其他的服务，那么服务就会不可避免的失败。例如A服务依赖于B、C、D等很多的服务，当B服务不可用的时候，会一直阻塞或者异常，更不会去调用C服务和D服务。同时假设有其他的服务也依赖于B服务，也会碰到同样的问题，这就及有可能导致雪崩效应。

如下案例：一个用户通过通过web容器访问应用，他要先后调用A、H、I、P四个模块，一切看着都很美好。  
![在这里插入图片描述][70166fb4465e4050b3c2e87c9283d2be.png]  
由于某些原因，导致I服务不可用，与此同时我们没有快速处理，会导致该用户一直处于阻塞状态。

![在这里插入图片描述][6b2acb6c3bb746edbe744f6241cac6cd.png]  
当其他用户做同样的请求，也会面临着同样的问题，tomcat支持的最大并发数是有限的，资源都是有限的，将整个服务器拖垮都是有可能的。

![在这里插入图片描述][b50169efcb624056b9b48167e5b03a77.png]

### 2、解决方案 ###

> Sentinel是一个用于分布式系统的延迟和容错的开源库，在分布式系统中，许多依赖会不可避免的调用失败，例如超时，异常等，Sentinel能保证在一个依赖出现问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。

> 断路器本身是一种开关装置，当某个服务单元发生故障后，通过断路器的故障监控（类似于保险丝），向调用者返回符合预期的，可处理的备选响应，而不是长时间的等待或者抛出无法处理的异常，这样就保证了服务调用的线程不会被长时间，不必要的占用，从而避免故障在分布式系统中的蔓延，乃至雪崩。

> Sentinel在网络依赖服务出现高延迟或者失败时，为系统提供保护和控制;可以进行快速失败，缩短延迟等待时间；提供失败回退（Fallback）和相对优雅的服务降级机制；提供有效的服务容错监控、报警和运维控制手段。

## 二、Sentinel的使用步骤 ##

### 1.下载资源 ###

下载地址：[https://github.com/alibaba/Sentinel/releases][https_github.com_alibaba_Sentinel_releases]

### 2.导入依赖 ###

在原有项目的基础上

> 在springcloud-alibaba-microservice-consumer-8080和springcloud-alibaba-microservice-provider-7070工程的pom.xml文件导入依赖

<dependency>
                <groupId>com.alibaba.cloud</groupId>
                <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
            </dependency>

### 3.启动sentinel ###

> 下载完资源以后，在任意盘符下解压缩，会发现里边是一个jar，在当前目录下输入cmd进入命令提示符，输入以下命令：java -jar sentinel-dashboard-1.8.1.jar --server.port=9999 命令启动，注意，这里的端口号任意，只要不存在冲突就行

![在这里插入图片描述][c5a51bf1d5ae4accbf9f5f0b34d3c930.png]  
![在这里插入图片描述][fc541a74aa824969936bc5e72ee99065.png]

启动成功，注意，dos命令窗口不要关闭

### 4.添加配置 ###

> 接下来，需要我们去消费方和服务提供方的yml文件中添加sentinel的配置，内容如下：

spring:
      application:
        name: provider #服务名
      cloud:
      	#nacos配置
        nacos:
          discovery:
            register-enabled: true
            server-addr: 127.0.0.1:8848
        #sentinel配置
        sentinel:
          transport:
            port: 8719 #推送数据端口
            dashboard: 127.0.0.1:8081 #启动端口
          web-context-unify: false #false表示针对调用同一接口的不同url进行链路限制
    server:
      port: 7070

消费方的添加内容和服务提供方一样，不再赘述

### 5.查看sentinel控制面板 ###

> 启动提供服务方和消费方，注意在启动之前，要先把nacos启动，然后访问消费方的方法，多访问几次，浏览器地址栏输入localhost:9999访问sentinel控制面板，默认密码是sentinel

![在这里插入图片描述][b998e2660cbf458cafb444a6643cbf95.png]  
可以看到我们刚才的访问记录  
![在这里插入图片描述][2137a0ea83d742e79a8b9480de64c1be.png]

#### 实时监控 ####

> 集成控制台后，当有请求时，实时监控页面会显示当前服务各个接口的访问信息，以图表的形式展示给用户，包含访问时间、通过 QPS、拒绝QPS、响应时间（ms）等信息。

#### 簇点链路 ####

>  *  列表：用于展示服务所有接口，包含通过QPS、拒绝QPS、线程数、平均RT、分钟通过、分钟拒绝等信息，端口为服务与Sentinel控制台>交互的端口，服务本地会起一个该端口占用的HttpServer，该 Server 会与 Sentinel 控制台做交互。
>  *  比如： Sentinel 控制台添加了一个限流规则，会把规则数据 push 给这个 Http Server 接收，Http Server 再将规则注册到 Sentinel 中。
>  *  操作：可以点击，然后对当前资源添加流控、降级、热点、授权等相关操作

#### 流控规则 ####

> 流量控制，其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。

![在这里插入图片描述][cdb020f42faa4e3fb804881404fdd810.png]

*  资源名：唯一名称，默认是请求路径，可自定义
 *  针对来源：流控针对的调用来源，若为 default 则不区分调用来源
 *  阈值类型：
    
     *  QPS（每秒请求数量）: 当调用该接口的QPS达到阈值的时候，进行限流
     *  线程数：当调用该接口的线程数达到阈值的时候，进行限流
 *  单机阈值：QPS或线程数的阈值数，达到阈值则限流
 *  是否集群：是否开启集群流控，不选择则默认为单机模式
 *  流控模式：
    
     *  直接（默认）：接口达到限流条件时，开启限流
     *  关联：当关联的资源达到限流条件时，开启限流 \[适合做应用让步\]
     *  链路：当从某个接口过来的资源达到限流条件时，开启限流
 *  流控效果：
    
     *  快速失败：该方式是默认的流量控制方式，当QPS超过任意规则的阈值后，新的请求就会被立即拒绝，拒绝方式为抛出FlowException。
     *  Warm Up（冷启动）：该方式主要用于系统长期处于低水位的情况下，当流量突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮。通过"冷启动"，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮的情况。
     *  排队等待：这种方式严格控制了请求通过的间隔时间，也即是让请求以均匀的速度通过，对应的是漏桶算法。

#### 降级规则 ####

> 除了流量控制以外，对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一

![在这里插入图片描述][98870bd945af4b159e771aa202fe3d38.png]

*  资源名： 要实现降级的资源。
 *  慢调用比例：  
    慢调用比例 (SLOW\_REQUEST\_RATIO)：选择以慢调用比例作为阈值，需要设置允许的慢调用 RT（即最大的响应时间），请求的响应时间大于该值则统计为慢调用。当单位统计时长（statIntervalMs）内请求数目大于设置的最小请求数目，并且慢调用的比例大于阈值，则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），若接下来的一个请求响应时间小于设置的慢调用 RT 则结束熔断，若大于设置的慢调用 RT 则会再次被熔断。
 *  调用：一个请求发送到服务器，服务器给与响应，一个响应就是一个调用
 *  慢调用：当调用的时间（响应的实际时间）>设置的RT的时，这个调用叫做慢调用
 *  慢调用比例：在所以调用中，慢调用占有实际的比例，= 慢调用次数 / 调用次数
 *  RT：响应时间，指系统对请求作出响应的时间。
 *  比例阈值：RT模式下慢速请求比率的阈值。默认1.0d，自己设定， 慢调用次数 / 调用次数=比例阈值
 *  熔断时长：断路器打开时的恢复超时（以秒为单位）。超时后，断路器将转换为半开状态以尝试一些请求，单位秒，图中表示触发熔断后，接下来的10秒内请求会自动被熔断，经过10S后熔断器会进入探测恢复状态（HALF-OPEN 状态），若接下来的一个请求响应时间小于设置的慢调用 RT 则结束熔断，若大于设置的慢调用 RT 则会再次被熔断。
 *  最小请求数：可以触发熔断中断的最小请求数（在有效的统计时间范围内)。默认值为5，设置的调用最小请求数
 *  统计时长: （单位为 ms），如 60\*1000 代表分钟级（1.8.0 引入），默认1000
 *  异常比例：  
    当单位统计时长（statIntervalMs）内请求数目大于设置的最小请求数目，并且异常的比例大于阈值，则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断。异常比率的阈值范围是 \[0.0, 1.0\]，代表 0% - 100%。
 *  异常数：  
    当单位统计时长内的异常数目超过阈值之后会自动进行熔断。经过熔断时长后熔断器会进入探测恢复状态（HALF-OPEN 状态），若接下来的一个请求成功完成（没有错误）则结束熔断，否则会再次被熔断。

### 6.代码实现 ###

> 我们可以通过代码+控制面板配合使用的方式来实现流控，和降级规则的实现。  
> 在springcloudalibaba-micro-consumer-8080工程中的FeignUserController中添加对应的方法进行测试

package com.lzl.controller;
    
    import com.alibaba.csp.sentinel.annotation.SentinelResource;
    import com.lzl.dto.UserDto;
    import com.lzl.sentinel.MyBlockHandler;
    import com.lzl.sentinel.MyFallback;
    import com.lzl.service.UserService;
    import com.lzl.utils.JsonResult;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.web.bind.annotation.*;
    
    
    /**
     * --效率，是成功的核心关键--
     *
     * @Author lzl
     * @Date 2023/3/15 16:25
     */
    
    
    @RestController
    @RequestMapping("feign")
    public class FeignUserController {
        
    
        @Autowired
        private UserService userService;
    
            @RequestMapping("findAll")
        @SentinelResource(value = "zhenLong-findAll",blockHandlerClass = MyBlockHandler.class,blockHandler = "findAllBlockHandler")
        //@SentinelResource(value = "zhenLong-findAll",fallbackClass = MyFallback.class,fallback = "findAllFallback")
        public JsonResult findAll(){
        
            return userService.findAll();
        }
        //模拟数据库操作
        //查询单个
        @SentinelResource(value = "zhenLong-findById",blockHandlerClass = MyBlockHandler.class,blockHandler = "getByIdBlockHandler")
        @GetMapping("findById")
        public JsonResult findById(@RequestParam("id") Integer id){
        
            return userService.findById(id);
        }
    
    
      
    }

> 这里我们以查询所有和根据id查询两个方法来举例，我们需要在单个控制器方法上添加 @SentinelResource 注解，来标注当前控制器的行为特征，其中
> 
>  *  value，标识资源名，
>  *  blockHandlerClass指向当熔断或者流控规则触发时的异常类型处理类，因为默认是页面报异常，为了修改默认报错信息，可以在该类中进行异常的处理，
>  *  blockHandler 和 fallback指向异常处理类的处理方法，它们的区别是
>     
>      *  1.  如果没有用blockHandler，fallback无论是违反了什么规则，都走fallback
>      *  1.  blockHandler和 fallback 如果都配置了，优先走blockHandler，可以区别限流、降级、热点等。
>      *  1.  blockHandler是将服务降级的方法与目标方法在同一个类中。如果不同的类中，有些方法需要使用相同的服务降级， 就可以使用blockHandlerClass来定义个一类，然后通过blockHandler来指定对应的降级的方法。方法必须是静态。
>      *  1.  fallback可以处理非 sentinel 的异常。

例如：当没有配置相应的异常处理，发生流控异常时会显示如下：  
![在这里插入图片描述][9a7f2599df6344e38d51b6b322d60ad8.png]  
而配置异常处理以后：  
![在这里插入图片描述][7e0559cd4a1a463682e78082454b8089.png]

**异常处理类**

MyBlockHandler:

package com.lzl.sentinel;
    
    import com.alibaba.csp.sentinel.slots.block.BlockException;
    import com.alibaba.csp.sentinel.slots.block.authority.AuthorityException;
    import com.alibaba.csp.sentinel.slots.block.degrade.DegradeException;
    import com.alibaba.csp.sentinel.slots.block.flow.FlowException;
    import com.alibaba.csp.sentinel.slots.block.flow.param.ParamFlowException;
    import com.lzl.utils.JsonResult;
    
    /**
     * --效率，是成功的核心关键--
     *
     * @Author lzl
     * @Date 2023/3/16 14:25
     */
    
    public class MyBlockHandler {
        
        public static JsonResult findUsersBlockHandler(BlockException e){
        
    
            JsonResult jsonResult = JsonResult.error();
    
            if (e instanceof FlowException){
        
                jsonResult.setMsg("流控异常");
            }else if (e instanceof DegradeException){
        
                jsonResult.setMsg("降级异常");
            }else if (e instanceof ParamFlowException){
        
                jsonResult.setMsg("热点异常");
            }else{
        
                jsonResult.setMsg("其他sentinel异常");
            }
            return jsonResult;
        }
        //处理的方法要和调用方法的返回值以及参数一致
        public static JsonResult getByIdBlockHandler(Integer id,BlockException e){
        
    
            JsonResult jsonResult = JsonResult.error();
    
            if (e instanceof ParamFlowException){
        
                jsonResult.setMsg("热点异常");
            }else if( e instanceof AuthorityException){
        
                jsonResult.setMsg("来源不明");
            }
            return jsonResult;
        }
    }

MyFallback:

package com.lzl.sentinel;
    
    import com.lzl.utils.JsonResult;
    
    /**
     * --效率，是成功的核心关键--
     * Feign和Sentinel整合使用
     * 配置fallback，当方法熔断降级后调用指定类中对应的方法
     * //@FeignClient(value = "micro-service-provider",fallback = UserServiceHandler.class)
     * @Author lzl
     * @Date 2023/3/16 14:28
     */
    
    public class MyFallback {
        
        public static JsonResult findAllFallback(Throwable throwable){
        
            JsonResult jsonResult = JsonResult.error();
            jsonResult.setData(throwable.getMessage());
            return jsonResult;
        }
    
    }

> 在控制面板配置流控或者降级规则，在@SentinelResource的value对应的值的那一栏点击流控或降级进行配置

![在这里插入图片描述][2cf3e3d054774c99b6c9f0b591c9384a.png]  
![在这里插入图片描述][9594da0946274466a9cd017e20bb1ca9.png]  
设置单机阈值为2，快速访问3次findAll如下：  
![在这里插入图片描述][ddeb9d454dbf4ab9a46de4d6badd074a.png]

> 对findById资源进行降级配置

![6cc46e1e1230481e879845d563880dae.png][]

> 连续快速访问findById方法：

![在这里插入图片描述][324e0fd626c44434bf62aab67bfd1231.png]

> 发现请求被熔断

### 7、热点规则 ###

> Sentinel 利用 LRU 策略统计最近最常访问的热点参数，结合令牌桶算法来进行参数级别的流控。热点参数限流支持集群模式。  
> 何为热点？热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据，并对其访问进行限制。比如：
> 
>  *  商品 ID 为参数，统计一段时间内最常购买的商品 ID 并进行限制
>  *  用户 ID 为参数，针对一段时间内频繁访问的用户 ID 进行限制
> 
> 热点参数限流会统计传入参数中的热点参数，并根据配置的限流阈值与模式，对包含热点参数的资源调用进行限流。热点参数限流可以看做是一种特殊的流量控制，仅对包含热点参数的资源调用生效。

以上面代码为例，对查询单个用户设置热点规则  
![在这里插入图片描述][9a44ea1c55e54c019abf1afa9035f518.png]  
快速访问进行测试：  
![在这里插入图片描述][c83dca71fceb4c3fa12b2cc0252e68c9.png]  
也可以添加例外值  
![在这里插入图片描述][8272f66e64484357bbb988fe6ef9d5c5.png]  
![在这里插入图片描述][46eb4d0056024bc5bb6dd81ee5a38c9d.png]  
访问id为1时，限流阈值改为10，则只有1秒内访问10才达到限流，测试略

### 8、授权规则 ###

> 很多时候，我们需要根据调用来源来判断该次请求是否允许放行，这时候可以使用 Sentinel 的来源访问控制（黑白名单控制）的功能。来源访问控制根据资源的请求来源（origin）限制资源是否通过，若配置白名单则只有请求来源位于白名单内时才可通过；若配置黑名单则请求来源位于黑名单时不通过，其余的请求通过。

代码实现：

1.创建SentinelOriginParser类实现指定接口，指定要传递的origin参数（参数名任意）

package com.lzl.sentinel;
    
    import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.RequestOriginParser;
    import com.alibaba.csp.sentinel.util.StringUtil;
    import org.springframework.stereotype.Component;
    
    import javax.servlet.http.HttpServletRequest;
    
    /**
     * --效率，是成功的核心关键--
     * 授权规则配置的就是该参数的值
     * @Author lzl
     * @Date 2023/3/16 15:50
     */
    @Component
    public class SentinelOriginParser implements RequestOriginParser{
        
        @Override
        public String parseOrigin(HttpServletRequest httpServletRequest) {
        
            String origin = httpServletRequest.getParameter("origin");
    
            if(StringUtil.isBlank(origin)) {
        
                throw new IllegalArgumentException("origin parameter is must not be empty");
            }
    
            //授权规则配置的就是该参数的值
            return origin;
        }
    }

重启消费方服务，访问http://localhost:8081/feign/findAll  
![在这里插入图片描述][fd81b3ca65974605afebff2d49eac581.png]  
![在这里插入图片描述][07508eaaa3dd41f996e436c3a157f2de.png]  
报错我们缺少参数，地址栏带上参数访问  
![在这里插入图片描述][ed4dbb9ce0b84b2db4c4ba3dfe49d4c3.png]  
多访问几次，进入Sentinel管理界面，对findAll新增授权规则  
![在这里插入图片描述][0a5853f1a1a84b7ab9d1d409547926de.png]

将ios拉入黑名单，再次访问  
![在这里插入图片描述][8592b5097cdc4e9d8aa6080f381dedaa.png]

android访问  
![在这里插入图片描述][de64c6c215c94d678f77bc2dc5e12609.png]

补充：可以在整个controller添加，前提是配置了Feign

@FeignClient(value = "micro-service-provider",fallback = UserServiceHandler.class)

编写对应的处理异常类，就可以实现对每个方法的异常处理

package com.qf.service;
    
    import com.qf.pojo.User;
    import com.qf.utils.JsonResult;
    import org.springframework.stereotype.Component;
    
    //和UserService中的方法一一对应
    @Component
    public class UserServiceHandler implements UserService{
        
        @Override
        public JsonResult getById(Integer id) {
        
            JsonResult jsonResult = JsonResult.error();
            jsonResult.setData("sentinel异常");
    
            return jsonResult;
        }
    
        @Override
        public JsonResult findAll() {
        
            return JsonResult.error();
        }
    
        @Override
        public JsonResult findById(Integer id) {
        
            return JsonResult.error();
        }
    
        @Override
        public JsonResult deleteById(Integer id) {
        
            return JsonResult.error();
        }
    
        @Override
        public JsonResult addUser(User user) {
        
            return JsonResult.error();
        }
    
        @Override
        public JsonResult updateUser(Integer id, String username, String password) {
        
            return JsonResult.error();
        }
    }

--------------------

## 总结 ##

本篇是对熔断与服务降级，Sentinel的使用进行了详细记录，更多内容见下篇

[70166fb4465e4050b3c2e87c9283d2be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e5a24d7cd14c4c3ba50cfe09c6d9b863.png
[6b2acb6c3bb746edbe744f6241cac6cd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/61753a253a80463e9953a6bbf095f24a.png
[b50169efcb624056b9b48167e5b03a77.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3e2ccbafa43f4a0a9f1810ed04119773.png
[https_github.com_alibaba_Sentinel_releases]: https://github.com/alibaba/Sentinel/releases
[c5a51bf1d5ae4accbf9f5f0b34d3c930.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/7ab4f1569d51497798829bb1d462ac68.png
[fc541a74aa824969936bc5e72ee99065.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b8b4aac7529f426faaaf102ad0227e33.png
[b998e2660cbf458cafb444a6643cbf95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a54427cfaa634c8aa1b0ae905c27493c.png
[2137a0ea83d742e79a8b9480de64c1be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c575053f0e554ef3ae84ea59697b357b.png
[cdb020f42faa4e3fb804881404fdd810.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/fff7d3f62342414e812ce85dfffeb3ce.png
[98870bd945af4b159e771aa202fe3d38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8754185d7407410ba01ac4e39b5d691b.png
[9a7f2599df6344e38d51b6b322d60ad8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/394b54a0918f454697548c4a1df6253c.png
[7e0559cd4a1a463682e78082454b8089.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c13f061682aa4d4a9f24da5274d99c9e.png
[2cf3e3d054774c99b6c9f0b591c9384a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/9d4f4b63170c4dcbafceda14fcf072fe.png
[9594da0946274466a9cd017e20bb1ca9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/88733e6b253d4d0d92d13b30ae61d05d.png
[ddeb9d454dbf4ab9a46de4d6badd074a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2816835c0f87497bbeaa3d7bc75bc049.png
[6cc46e1e1230481e879845d563880dae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5fed9ec4fdb24e4ab7ed688b23413c42.png
[324e0fd626c44434bf62aab67bfd1231.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5f9a235b48b249a18783c8575a239904.png
[9a44ea1c55e54c019abf1afa9035f518.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/016acd09b03340d397b796b4e832208d.png
[c83dca71fceb4c3fa12b2cc0252e68c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ce9911cd91ee405c910f41798367199c.png
[8272f66e64484357bbb988fe6ef9d5c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d9b3bae9300c49359d5635b5d7a9e363.png
[46eb4d0056024bc5bb6dd81ee5a38c9d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c4f4cfa6ee784f17950174f2e4925b13.png
[fd81b3ca65974605afebff2d49eac581.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e903c515e7a545348bc8d7ca406f7256.png
[07508eaaa3dd41f996e436c3a157f2de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5091dbce2e2949ddae05e6d1351ca9ac.png
[ed4dbb9ce0b84b2db4c4ba3dfe49d4c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/eafc6d3e05ff40b384617eba12090262.png
[0a5853f1a1a84b7ab9d1d409547926de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/52080d967fef4584b3946d5205e3b2e1.png
[8592b5097cdc4e9d8aa6080f381dedaa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c718f7a4c17241a99647e595cb8eaed2.png
[de64c6c215c94d678f77bc2dc5e12609.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4ae6edd5550947ccbba56bc02e1c56c6.png