【60】MSI-X介绍

- 日理万妓 2023-05-21 07:06 17阅读 0赞

公众号分了三部分

[MSI-X (一）][MSI-X]

[MSI-X (二）][MSI-X 1]

[MSI-X（三）][MSI-X 2]

1.  **MSI****中断**

介绍MSI-X中断之前，我们先来看看MSI中断的机制。

MSI中断本质上是一个memory write，memory write的地址就是设备配置空间的MSI address寄存器的值，memory write的数据就是设备配置空间的MSI data寄存器的值。Message address寄存器和message data寄存器是调用pci\_enable\_msi时，系统软件填入的（**address和data和CPU的架构相关，简单说就是和CPU的中断控制器部分相关**）。

也就是说，一个设备想产生一个MSI中断话，只需要使用配置空间的message address寄存器和message data寄存器发起一个memory write请求，即往message address寄存器写入memory data。在X86系统下，message address对应的LAPIC的地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 1][]

2.**为何要引入MSI-X**

前面讲了MSI中断的机制，其实MSI-X Capability中断机制与MSI Capability的中断机制类似。既然机制类似，为啥还要需要引入MSI-X呢？

回答这个问题前，我们先看看MSI有哪些限制？

（1）MSI相关的寄存器都是在配置空间中，从Message Control寄存器multiple message Capble字段可以看出MSI最多支持32个中断向量，且必须是![2^\{N\}][2_N]，也就是说如果一个function需要3个中断向量，必须申请4个才可以满足。

（2）MSI要求中断控制器分配给该function的中断向量号必须连续。

打个比方，如果一个PCIe设备需要使用4个中断请求时，如果使用MSI机制时，Message Data的\[2:0\]字段可以为0b000~0b011，因此可以发送4种中断请求，但是这4种中断请求的Message Data字段必须连续。在许多中断控制器中，Message Data字段连续也意味着中断控制器需要为这个PCIe设备分配4个连续的中断向量号。

有时在一个中断控制器中，虽然具有4个以上的中断向量号，但是很难保证这些中断向量号是连续的。因此中断控制器将无法为这些PCIe设备分配足够的中断请求，此时该设备的“Multiple Message Enable”字段将小于“Multiple Message Capable”。MSI-X为了解决上面的问题才出现的。

注意：linux的X86架构下是不支持Multiple Message的。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 3][]

MSI-X的出现就是为了解决上面两个问题，主要是第二个问题。

**3.MSI-X CAP****结构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 4][]

MSI-X和MSI最大的不同是message data、message address字段和status字段没有存放在设备的配置空间中，而是使用MSI-X Table structure和MSI-X PBA structure来存放这些字段。

MSI-X Table structure和PBA structure存放在设备的BAR空间里，这两个structure可以map到相同BAR，也可以map到不同BAR，但是这个BAR必须是memory BAR而不能是IO BAR，也就是说两个structure要map到memory空间。

注意：一个function只能支持一个MSI-X CAP。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 5][]

**3.1** **配置空间****的Message control 寄存器**

配置空间Message Control寄存器中的table size字段可以获取MSI-X的table的大小。软件读取该字段获取table size，table size+1就是MSI-X table entry的个数，也就是Figure 7-36中的entry(N-1)中的N，每个entry对应一个中断向量。从table size可以看出1个function最多可以支持![2^\{11\}][2_11]=2048个MSI-X中断。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 6][]

pci\_msix\_vec\_count读取Message Control寄存器的table size字段获取MSI-X table entry的个数。

调用关系如下：

pci\_enable\_msix\_range\->\_\_pci\_enable\_msix\_range->\_\_pci\_enable\_msix->pci\_msix\_vec\_count

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 7][]

![20200430114545314.png][]

**3.2** **配置空间****的Table offset/Table BIR寄存器**

配置空间中Table offset/Table BIR寄存器的Table BIR字段指示使用哪个BAR来映射的MSI-X Table structure。该字段的0-5也对应function的BAR0-5。

Table offset字段代表MSI-X Table structure entry 0存放在BAR空间的偏移。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 8][]

kernel代码先读取配置空间的Table offset/Table BIR寄存器，通过Table BIR字段获取使用哪个BAR来映射MSI-X Table structure。然后计算出MSI-X table entry 0相对BAR空间偏移的物理地址（phys\_addr），最后ioremap得到虚拟地址。

调用关系如下：

pci\_enable\_msix\_range\->\_\_pci\_enable\_msix\_range->\_\_pci\_enable\_msix->msix\_capability\_init

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 9][]

**2.3****配置空间****的PBA offset/PBA BIR寄存器**

配置空间中PBA offset/PBA BIR寄存器的PBA BIR字段指示使用哪个BAR来映射的PBA structure。该字段的0-5也对应function的BAR0-5。

PBA offset字段代表PBA structure存放在BAR空间的偏移。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 10][]

**4.Memory****空间****的MSI-X table structure**

Message address和Message Upper address字段存放的是MSI-X memory write请求需要使用的地址。

Message Data字段存放的是MSI-X memory write请求需要使用的data。该地址和CPU的架构相关，是使能MSI-X时，系统软件写入的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 13][]

Kernel函数\_\_pci\_write\_msi\_msg把message address、message data写入对应的entry。

如果是X86的CPU，存放message address和message data的结构struct msi\_msg \*msg是在irq\_msi\_compose\_msg中初始化的，这个值和CPU架构相关。

desc->mask\_base是MSI-X table entry 0对应的虚拟地址，desc->msi\_attrib.entry\_nr是MSI-X table entry编号。desc->mask\_base和desc->msi\_attrib.entry\_nr都是在msix\_setup\_entries赋值的（pci\_enable\_msix\_range\->\_\_pci\_enable\_msix\_range->

\_\_pci\_enable\_msix->msix\_capability\_init->msix\_setup\_entries）。

X86下调用关系：

pci\_enable\_msix\_range\->\_\_pci\_enable\_msix\_range->\_\_pci\_enable\_msix-> msix\_capability\_init-> pci\_msi\_setup\_msi\_irqs-> arch\_setup\_msi\_irqs->native\_setup\_msi\_irqs->

msi\_domain\_alloc\_irqs->irq\_domain\_activate\_irq->\_\_irq\_domain\_activate\_irq-> msi\_domain\_activate->irq\_chip\_write\_msi\_msg->pci\_msi\_domain\_write\_msg-> \_\_pci\_write\_msi\_msg

使用kprobe工具dump出来的调用关系：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 14][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 16][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

x86 的IOAPIC和local APIC的架构。

X86 下MSI address的格式如下

![20210203114100740.png][]

Destination ID 字段存放了中断要发往 LAPIC ID。该 ID 也会记录在 I/O APIC Redirection Table 中每个表项的 bit56-63 。Redirection hint indication 指定了 MSI 是否直接送达 CPU。 Destination mode 指定了 Destination ID 字段存放的是逻辑还是物理 APIC ID 。

X86下MSI data格式如下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 18][]

Vector 指定了中断向量号， Delivery Mode 定义同传统中断，表示中断类型。Trigger Mode 为触发模式，0 为边缘触发，1 为水平触发。 Level 指定了水平触发中断时处于的电位(边缘触发无须设置该字段)。

*    上面都是以**X86为例，具体的可以参考《******Intel® 64 and IA-32 Architectures Software Developer’s Manual******》卷三关于APIC和MSI的部分**。*

Vector Control字段存放的是控制字段，当Mask Bit为1时，PCIe设备不能使用该MSI-X table entry来发送中断消息。

如果其他的MSI-X table entry也是使用的相同的vector，只要对应entry的vector control寄存器的mask bit字段不为1，仍然可以使用该vector发送MSI-X中断消息。这个意思是说Mask Bit的作用范围是该entry的，如果两个entry使用相同的vector（对X86来说就是Message Data字段低8 bit相同），Mask Bit不为1的entry是可以使用该vector发出message中断。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 19][]

此时MSI-X中断还没有完全初始化完毕，Kernel代码是把MSI-X vector control 寄存器的Mask bit置1来mask所有vector的中断。

调用关系：

pci\_enable\_msix\_range\->\_\_pci\_enable\_msix\_range->\_\_pci\_enable\_msix-> msix\_capability\_init-> msix\_program\_entries

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 20][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 21][]

**5、什么时候umask的vector中断呢？**

以网卡为例，在request\_irq的时候才把MSI-X的使用的vector给unmask的。

\_\_igb\_open->request\_threaded\_irq->\_\_setup\_irq->irq\_startup->\_\_irq\_startup-> **unmask\_irq->pci\_msi\_unmask\_irq-> msi\_set\_mask\_bit->msix\_mask\_irq**\->\_\_pci\_msix\_desc\_mask\_irq

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 22][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 23][]

**6、MSI****和MSI-X对比**

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> 对比项 </td> 
 <td style="vertical-align:top;width:138.25pt;"> MSI </td> 
 <td style="vertical-align:top;width:138.3pt;"> MSI-X </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> Message Address </td> 
 <td style="vertical-align:top;width:138.25pt;"> 存放在配置空间中MSI相关寄存器 </td> 
 <td style="vertical-align:top;width:138.3pt;"> 存放在BAR空间MSI-X table structure </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> Message Data </td> 
 <td style="vertical-align:top;width:138.25pt;">存放在配置空间中MSI相关寄存器</td> 
 <td style="vertical-align:top;width:138.3pt;"> 存放在BAR空间MSI-X table structure </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> Sataus相关 </td> 
 <td style="vertical-align:top;width:138.25pt;">存放在配置空间中MSI相关寄存器</td> 
 <td style="vertical-align:top;width:138.3pt;"> 存放在BAR空间PBA structure </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> 每个设备支持的Vector数量 </td> 
 <td style="vertical-align:top;width:138.25pt;"> 32 </td> 
 <td style="vertical-align:top;width:138.3pt;"> 2048 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:138.25pt;"> 中断号连续？ </td> 
 <td style="vertical-align:top;width:138.25pt;"> 是 </td> 
 <td style="vertical-align:top;width:138.3pt;"> 否 </td> 
 </tr> 
 </tbody> 
</table>

**7、举个例子**

说了这么多拿网卡举个例子吧。从配置空间可以看出MSI-X使用的BAR3，MSI-X table structure存放在BAR3起始地址+0的位置，PBA structure存在BAR3起始地址+0x2000的位置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 24][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 25][]

我们来读一下该地址，发现使用的entry的message地址为LAPIC的地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 26][]

![20200430140740768.png][]

[MSI-X]: https://mp.weixin.qq.com/s/VWKqaQkoSaGECV7LEbKubg
[MSI-X 1]: https://mp.weixin.qq.com/s/zUb1uBe18SeJ7jag1lvb0g
[MSI-X 2]: https://mp.weixin.qq.com/s/JQuqUcEOlrcPbxvLlBlN8Q
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70]: /images/20230521/c45643ff26a84de5b2860ba93fcf3a5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 1]: /images/20230521/152cd15dff8840d7ae97e03ba3a4c1f9.png
[2_N]: https://private.codecogs.com/gif.latex?2%5E%7BN%7D
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20230521/e97599697f9e442aab8b8f3de87def7f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20230521/79b5267115d34ad49e0fbb2018ced99e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 2]: /images/20230521/b921d59028ae4383a7b8deb03ede69cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 3]: /images/20230521/07ac98045c8d4f24aa5afa019bb860d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 4]: /images/20230521/3894b191bc70457faf067a033375a689.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 5]: /images/20230521/515ed22590d54cb6a1b1df971cb9d592.png
[2_11]: https://private.codecogs.com/gif.latex?2%5E%7B11%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 6]: /images/20230521/f423792dcfb54903bddc94cc771906d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 7]: /images/20230521/1addcbb8bce24290b91d807d1e9a280f.png
[20200430114545314.png]: /images/20230521/ae10b08855cb4f48ada7a37eb8b074c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 8]: /images/20230521/ed25e5383b724e4db439f07164667168.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 9]: /images/20230521/c27afacd18e9409c9b7105b8fcf0d25d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 10]: /images/20230521/d4c3d216c13847a8819cb5951cb12595.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 11]: /images/20230521/2a344e0793a444fcb4ec7a5314d3297f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 12]: /images/20230521/65bc88ce23b84d2482845ac2ccb11f9e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 13]: /images/20230521/b2881ece22594a4699112f7ba36a552a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200430115335111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200430115419398.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20200430115356862.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/2020043014250536.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAbGluamlhc2Vu_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/20210918105320190.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAbGluamlhc2Vu,size_20,color_FFFFFF,t_70,g_se,x_16
[20210203114100740.png]: https://img-blog.csdnimg.cn/20210203114100740.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20210203114150709.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20200430115457146.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20200430115533808.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20200430115600292.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20200430115641374.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/20200430115707872.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20200430115857227.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/20200430115941277.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/2020043013592971.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[20200430140740768.png]: https://img-blog.csdnimg.cn/20200430140740768.png