WEB服务集群LVS

刺骨的言语ヽ痛彻心扉 2022-01-26 00:53 293阅读 0赞

**LVS功能详解**  
1.1 LVS（Linux Virtual Server）介绍  
LVS是Linux Virtual Server 的简写（也叫做IPVS），意即Linux虚拟服务器，是一个虚拟的服务器集群系统，可以在UNIX/LINUX平台下实现负载均衡集群功能。  
1.2 企业网站LVS集群架构图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70]

1.31.4 LVS体系结构与工作原理简单描述

> LVS集群负载均衡器接受服务的所有入站客户端计算机请求，并根据调度算法决定哪个集群节点应该处理回复请求。负载均衡器（简称LB）有时也被称为LVS  
> Director（简称Director）。
> 
> LVS虚拟服务器的体系结构如下图所示，一组服务器通过高速的局域网或者地理分布的广域网相互连接，在他们的前端有一个负载调度器（Load  
> Balancer）。  
> 负载调度器能无缝地将网络请求调度到真实服务器上，从而使得服务器集群的结构对客户是透明的，客户访问集群系统提供的网络服务就像访问一台高性能，高可用的服务器一样。客户程序不受服务器集群的影响不需要作任何修改。系统的伸缩性通过在服务集群中透明地加入和删除一个节点来达到，通过检测节点或服务进程故障和正确地重置系统达到高可用性。由于我们的负载调度技术是在Linux内核中实现的，我们称之为Linux虚拟服务器（Linux  
> Virtual Server）。

**1.4 LVS 基本工作过程图**  
LVS基本工作过程如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 1]  
LVS相关术语

名称 缩写 说明

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 2]

**LVS集群的3种常见工作模式介绍与原理讲解**  
VS工作模式——NAT（网络地址翻译技术Network Address Translation）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 3]  
NAT模式特点小结：

1.  NAT技术将请求的报文（DNAT）和响应的报文（SNAT），通过调度器地址重写然后在转发发给内部的服务器，报文返回时在改写成原来的用户请求的地址。
2.  只需要在调度器LB上配置WAN公网IP即可，调度器也要有私有LAN IP和内部RS节点通信。  
    每台内部RS节点的网关地址，必须要配成调度器LB的私有LAN内物理网卡地址（LDIP），这样才能确保数据报文返回时仍然经过调度器LB。
3.  由于请求与响应的数据报文都经过调度器LB，因此，网站访问量大时调度器LB有较大瓶颈，一般要求最多10-20台节点。
4.  NAT模式支持对IP及端口的转换，即用户请求10.0.0.1：80，可以通过调度器转换到RS节点的10.0.0.2：8080（DR和TUN模式不具备的）
5.  所有NAT内部RS节点只需要配置私有LAN IP即可。
6.  由于数据包来回都需要经过调度器，因此，要开启内核转发net.ipv4.ip\_forward=1,当然也包括iptables防火墙的forward功能（DR和TUN模式不需要）。

LVS工作模式——IP隧道（IP tunning）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 4]  
增加一个IP头部。通过IP隧道进行通信（可以跨网段找到RS节点）

TUN模式特点小结：

1.  负载均衡器通过把请求的报文通过IP隧道的方式转发至真实服务器，而真实服务器将响应处理后直接返回给客户端用户。
2.  由于真实服务器将响应处理后的报文直接返回给客户端用户，因此，最好RS有一个外网IP地址，这样效率才会更高。理论上：只要能出网即可，无需外网IP地址。
3.  由于调度器LB只处理入站请求的报文。因此，此集群系统的吞吐量可以提高10倍以上，但隧道模式也会带来一定得系统开销。TUN模式适合LAN/WAN。
4.  TUN模式的LAN环境转发不如DR模式效率高，而且还要考虑系统对IP隧道的支持问题。
5.  所有的RS服务器都要绑定VIP，抑制ARP，配置复杂。
6.  LAN环境一般多采用DR模式，WAN环境可以用TUN模式，但是当前在WAN环境下，请求转发更多的被haproxy/nginx/DNS调度等代理取代。因此，TUN模式在国内公司实际应用的已经很少。跨机房应用要么拉光纤成局域网，要么DNS调度，底层数据还得同步。
7.  直接对外的访问业务，例如：Web服务做RS节点，最好用公网IP地址。不直接对外的业务，例如：MySQL，存储系统RS节点，最好用内部IP地址。

LVS工作模式——直接路由模式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 5]  
DR模式特点小结：

1.  通过在调度器LB上修改数据包的目的MAC地址实现转发。（源IP地址仍然是CIP，目的IP地址仍然是VIP）
2.  请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此，并发访问量大时使用效率很高（和NAT模式相比）
3.  因DR模式是通过MAC地址的改写机制实现的转发，因此，所有RS节点和调度器LB只能在一个局域网LAN中（缺点）
4.  RS节点的默认网关不需要是调度器LB的DIP，而直接是IDC机房分配的上级路由器的IP（这是RS带有外网IP地址的情况），理论讲：只要RS可以出网即可，不是必须要配置外网IP
5.  由于DR模式的调度器仅进行了目的MAC地址的改写，因此，调度器LB无法改变请求的报文的目的端口（缺点）
6.  当前，调度器LB支持几乎所有的UNIX，LINUX系统，但目前不支持WINDOWS系统。真实服务器RS节点可以是WINDOWS系统。
7.  总的来说DR模式效率很高，但是配置也较麻烦，因此，访问量不是特别大的公司可以用haproxy/nginx取代之。这符合运维的原则：简单，易用，高效。日2000WPV或并发请求1万以下都可以考虑用haproxy/nginx（LVS NAT模式）
8.  直接对外的访问业务，例如：Web服务做RS节点，RS最好用公网IP地址。如果不直接对外的业务，例如：MySQl，存储系统RS节点，最好只用内部IP地址。

**LVS的调度算法**  
LVS的调度算法决定了如何在集群节点之间分布工作负荷。  
当Director调度器收到来自客户端计算机访问它的VIP上的集群服务的入站请求时，Director调度器必须决定哪个集群节点应该处理请求。Director调度器可用于做出该决定的调度方法分成两个基本类别：  
固定调度方法：rr,wrr,dh,sh  
动态调度算法：wlc,lc,lblc,lblcr,SED,NQ  
10种调度算法见如下表格（rr,wrr,wlc重点）：

算法 说明

> rr 轮循调度，它将请求依次分配不同的RS节点，也就是在RS节点中均摊请求。这种算法简单，但是只适合于RS节点处理性能相差不大的情况  
> wrr 权重轮循，它将依据不同RS节点的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值较低的RS节点更多。相同权值的RS得到相同数目的连接数  
> dh 目的地址哈希调度，以目的地址为关键字查找一个静态hash表来获得需要的RS  
> sh 源地址哈希调度，以源地址为关键字查找一个静态hash表来获得需要的RS  
> wlc 加权最小连接数调度，实际连接数除以权值，最小的RS作为分配的RS lc 最小连接数调度，连接数最小的RS作为分配的RS  
> lblc 基于地址的最小连接数调度，将来自同一目的地址的请求分配给同一台RS节点 lblcr 基于地址带重复最小连接数调度。（略）  
> SED 最短的期望的延迟（不成熟） NQ 最小队列调度（不成熟）

**实现LVS的负载均衡功能（DR模式）**  
管理IP地址 角色 备注  
192.168.0.210 LVS调度器（Director） 对外提供服务的VIP为192.168.0.240  
192.168.0.223 RS1（真实服务器）  
192.168.0.224 RS2（真实服务器）

安装准备  
时间同步  
1. 安装ntpdate工具

# yum -y install ntp ntpdate
    
    2.  设置系统时间与网络时间同步
    
    # ntpdate cn.pool.ntp.org
    
    3.  将系统时间写入硬件时间
    
    # hwclock --systohc

安装lvs命令：

[root@lvs01 ~]# yum install ipvsadm -y
    [root@lvs01 ~]# ipvsadm
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

手动配置LVS负载均衡服务  
2.2.1 手工添加lvs转发  
（1）配置LVS虚拟IP（VIP）

[root@lvs01 ~]# ifconfig eth0:0 192.168.0.240 broadcast 192.168.0.240 netmask 255.255.255.0 up
    [root@lvs01 ~]# ifconfig eth0:0
    eth0:0    Link encap:Ethernet  HWaddr 00:0C:29:D5:7F:9D  
              inet addr:192.168.0.240  Bcast:192.168.0.240  Mask:255.255.255.255
              UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

（2）手工执行配置添加LVS服务并增加两台RS

[root@lvs01 ~]# ipvsadm -C                  #清空ipvs历史设置
    [root@lvs01 ~]# ipvsadm --set 30 5 60       #设置超时时间（tcp tcpfin udp）
    [root@lvs01 ~]# ipvsadm -A -t 192.168.0.240:80 -s rr -p 20

\#说明：  
\-A：添加一个虚拟路由主机（LB）  
\-t：指定虚拟路由主机的VIP地址和监听端口  
\-s：指定负载均衡算法  
\-p：指定会话保持时间

\[root@lvs01 ~\]\# ipvsadm -a -t 192.168.0.240:80 -r 192.168.0.223:80 -g -w 1  
\[root@lvs01 ~\]\# ipvsadm -a -t 192.168.0.240:80 -r 192.168.0.224:80 -g -w 1

\#说明：  
\-a：添加RS节点  
\-t：指定虚拟路由主机的VIP地址和监听端口  
\-r：指定RS节点的RIP地址和监听端口  
\-g：指定DR模式  
\-w：指定权值  
（3）查看lvs配置结果

[root@lvs01 ~]# ipvsadm -L -n
    IP Virtual Server version 1.2.1 (size=4096)
    Prot LocalAddress:Port Scheduler Flags
      -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
    TCP  192.168.0.240:80 rr persistent 20
      -> 192.168.0.223:80             Route   1      0          0         
      -> 192.168.0.224:80             Route   1      0          0

（4）ipvs配置删除方法

[root@lvs01 ~]# #ipvsadm -D -t 192.168.0.240:80 -s rr       #删除虚拟路由主机
    [root@lvs01 ~]# #ipvsadm -d -t 192.168.0.240:80 -r 192.168.0.223:80     #删除RS节点

手工在RS端绑定

#在Web01上操作
    [root@web01 ~]# ifconfig lo:0 192.168.0.240/32 up       #掩码必须设置32
    [root@web01 ~]# ifconfig lo:0
    lo:0      Link encap:Local Loopback  
              inet addr:192.168.0.240  Mask:0.0.0.0
              UP LOOPBACK RUNNING  MTU:16436  Metric:1

\#在Web02上操作

[root@web02 ~]# ifconfig lo:0 192.168.0.240/32 up       #掩码必须设置32
    [root@web02 ~]# ifconfig lo:0
    lo:0      Link encap:Local Loopback  
              inet addr:192.168.0.240  Mask:0.0.0.0
              UP LOOPBACK RUNNING  MTU:16436  Metric:1

2.2.3 浏览器测试LVS转发效果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 7]  
关于DR模式RS节点的ARP抑制的问题

> 因为在DR模式下，RS节点和LVS同处一个局域网网段内。
> 
> 当网关通过ARP广播试图获取VIP的MAC地址的时候

> LVS和节点都会接收到ARP广播并且LVS和节点都绑定了192.168.0.240这个VIP，所以都会去响应网关的这个广播，导致冲突现象。
> 
> 因此，我们需要对RS节点做抑制ARP广播的措施。

[root@web01 ~]# echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
    [root@web01 ~]# echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce 
    [root@web01 ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore 
    [root@web01 ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

**配置网关型防火墙**  
防火墙的双网卡都不要设置网关，因为自己的旧网关

[root@localhost ~]# ip a
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
        inet6 ::1/128 scope host 
           valid_lft forever preferred_lft forever
    2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000                               #内网网卡
        link/ether 00:0c:29:ee:d3:15 brd ff:ff:ff:ff:ff:ff
        inet 192.168.0.100/24 brd 192.168.0.255 scope global eth0
        inet6 fe80::20c:29ff:feee:d315/64 scope link 
           valid_lft forever preferred_lft forever
    3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000                               #外网网卡
        link/ether 00:0c:29:ee:d3:1f brd ff:ff:ff:ff:ff:ff
        inet 192.168.200.100/24 brd 192.168.200.255 scope global eth1
        inet6 fe80::20c:29ff:feee:d31f/64 scope link 
           valid_lft forever preferred_lft forever
    [root@localhost ~]# route -n
    Kernel IP routing table
    Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    192.168.0.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
    192.168.200.0   0.0.0.0         255.255.255.0   U     0      0        0 eth1
    169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
    169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
    
    #防火墙不需要配置网关，因此没有默认路由信息
    [root@localhost ~]# head /etc/sysctl.conf           #开启网卡路由转发
    # Kernel sysctl configuration file for Red Hat Linux
    #
    # For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
    # sysctl.conf(5) for more details.
    
    # Controls IP packet forwarding
    net.ipv4.ip_forward = 1                 #修改为1
    
    # Controls source route verification
    net.ipv4.conf.default.rp_filter = 1
    [root@localhost ~]# sysctl -p               #让配置即刻生效
    net.ipv4.ip_forward = 1
    net.ipv4.conf.default.rp_filter = 1
    net.ipv4.conf.default.accept_source_route = 0
    kernel.sysrq = 0
    kernel.core_uses_pid = 1
    net.ipv4.tcp_syncookies = 1
    error: "net.bridge.bridge-nf-call-ip6tables" is an unknown key
    error: "net.bridge.bridge-nf-call-iptables" is an unknown key
    error: "net.bridge.bridge-nf-call-arptables" is an unknown key
    kernel.msgmnb = 65536
    kernel.msgmax = 65536
    kernel.shmmax = 68719476736
    kernel.shmall = 4294967296

特别提示：  
Web01,Web02,LVS负载均衡器，以及内网客户端均将网关设置成网关型防火墙的eth0：192.168.0.100

**配置内网客户端**  
内网客户端用于模拟lvs应用于内网的负载均衡情况  
比如lvs数据库读负载均衡，比如lvs memcached缓存组负载均衡  
由于这类型的负载均衡请求都是由内网服务器发起，因此用内网客户端来模拟

\#内网客户端访问测试

root@LanClient ~]# hostname -I
    192.168.0.220               #内网客户端IP
    [root@LanClient ~]# route -n        #默认路由为网关防火墙
    Kernel IP routing table
    Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    192.168.0.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
    169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
    0.0.0.0         192.168.0.100   0.0.0.0         UG    0      0        0 eth0
    
    [root@LanClient ~]# curl 192.168.0.240
    192.168.0.224 bbs
    [root@LanClient ~]# curl 192.168.0.240
    192.168.0.223 bbs
    [root@LanClient ~]# curl 192.168.0.240
    192.168.0.224 bbs
    [root@LanClient ~]# curl 192.168.0.240
    192.168.0.223 bbs

\#从上面可以看出，内网客户端模拟访问lvs负载均衡器，成功！  
**配置外网客户端**  
外网客户端模拟的是lvs转发外网用户访问需求给RS节点处理的情况  
模拟外网客户端，要求客户端不能配置任何网关

由于外网客户端要访问内网的LVS需要经过网关防火墙的跳转，因此需要在防火墙服务器上做iptables的DNAT和SNAT，配置如下：

[root@GATEWAY ~]# hostname -I
    192.168.0.100(内网网卡) 192.168.200.100（外网网卡） 
    [root@GATEWAY ~]# route -n      
    Kernel IP routing table
    Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    192.168.0.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
    192.168.200.0   0.0.0.0         255.255.255.0   U     0      0        0 eth1
    169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
    169.254.0.0     0.0.0.0         255.255.0.0     U     1003   0        0 eth1
    [root@GATEWAY ~]# iptables -t nat -A PREROUTING -i eth1 -d 192.168.200.100 -p tcp --dport 80 -j DNAT --to-destination 192.168.0.240
    [root@GATEWAY ~]# iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -o eth1 -j SNAT --to-source 192.168.200.100
    [root@GATEWAY ~]# iptables -t nat -L -nv
    Chain PREROUTING (policy ACCEPT 25 packets, 5251 bytes)
     pkts bytes target     prot opt in     out     source               destination         
       32  1920 DNAT       tcp  --  eth1   *       0.0.0.0/0            192.168.200.100     tcp dpt:80 to:192.168.0.240 
    
    Chain POSTROUTING (policy ACCEPT 53 packets, 3208 bytes)
     pkts bytes target     prot opt in     out     source               destination         
        0     0 SNAT       all  --  *      eth1    192.168.0.0/24       0.0.0.0/0           to:192.168.200.100 
    
    Chain OUTPUT (policy ACCEPT 22 packets, 1348 bytes)
     pkts bytes target     prot opt in     out     source               destination         
    [root@GATEWAY ~]# 
    进行外网客户端访问LVS负载均衡器测试

特别提示：  
由于浏览器缓存及LVS默认会话保持等影响，个人简单的测试切换RS的几率要很多次并且间隔一定时间访问才行。尽可能关闭浏览器换不同的客户端IP来测试，效果更明显一些。用单机测试是有这种情况（负载均衡的算法倾向于一个客户端IP定向到一个后端服务器，以保持会话连贯性），如果用两三台机器去测试也许就不一样。  
在测试访问的同时可以通过ipvsadm -Lnc来查看访问结果，如下所示：

[root@lvs01 network-scripts]# ipvsadm -lnc
    IPVS connection entries
    pro expire state       source             virtual            destination
    TCP 01:41  FIN_WAIT    192.168.0.220:59805 192.168.0.240:80   192.168.0.224:80
    TCP 01:40  FIN_WAIT    192.168.0.220:59803 192.168.0.240:80   192.168.0.224:80
    TCP 01:50  FIN_WAIT    192.168.200.200:34926 192.168.0.240:80   192.168.0.223:80
    TCP 01:41  FIN_WAIT    192.168.0.220:59804 192.168.0.240:80   192.168.0.223:80
    TCP 01:50  FIN_WAIT    192.168.200.200:34925 192.168.0.240:80   192.168.0.224:80
    TCP 01:41  FIN_WAIT    192.168.0.220:59806 192.168.0.240:80   192.168.0.223:80
    TCP 01:40  FIN_WAIT    192.168.0.220:59802 192.168.0.240:80   192.168.0.223:80
    TCP 01:51  FIN_WAIT    192.168.200.200:34927 192.168.0.240:80   192.168.0.224:80

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70]: /images/20220126/e5fc7a010cda45b5a73b345809e51500.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 1]: /images/20220126/a74c809ff4b145fb80056079c460237c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 2]: /images/20220126/127830b41e2b4ac186a1f32c38dda4aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 3]: /images/20220126/14bf64686ee146318356674527a16ba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 4]: /images/20220126/b1a272a3c55a4759a863fd6a2e15c58e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 5]: /images/20220126/e1755c76a7be470eabaa1a54f8940993.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 6]: /images/20220126/e4a6094570534d8fa5c8806e35112f9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dxOTYyNDY0_size_16_color_FFFFFF_t_70 7]: /images/20220126/995c380cda9d4d2aac20cd5ff27317bf.png