【深度学习NLP论文笔记】《Greedy Attack and Gumbel Attack: Generating Adversarial Example for Discrete Data》

ゝ一世哀愁。 2022-04-14 06:26 213阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70][]

这篇文章的数学定义推导和算法说明部分大都没有看懂，所以笔记写得极烂，因为文中很多数学定义相当模糊，写得也很绕。在ICLR2019评审中一位盲审直接给出“poorly written”的意见。[ICLR2019 OpenReview][]  但这篇大概率还是会中，原作者也更新了一版论文，待评审结果出来我会试着重新更新该笔记，先占个坑。

## **Abstract** ##

我们提出一种【对离散数据进行对抗攻击】的概率框架（probabilistic framework）。基于这个框架，可以得到两种方法：

*  基于扰动的方法（perturbation-based method）：贪婪攻击（Greedy Attack）
 *  基于可扩展学习的方法（scalable learning-based method）：Gumbel Attack

我们使用单词级CNN（word-based CNN），字符级CNN（character-based CNN）和LSTM进行试验。

通过贪婪攻击只修改5个字符，使基于字符的CNN的分类准确率下降到随机选择的水平。

## **1、Introduction** ##

相关有价值的工作：

*  《Visualizing and understanding neural models in nlp》Li et al.提出通过寻找词嵌入的最大梯度（the largest gradient magnitude of embedding），找到最顶层的特征（top features）。
 *  《Crafting adversarial input sequences for recurrent neural networks.》 Papernot et al.提出通过改变梯度的符号来对每个特征进行扰动，再以此随机改变选择的输入特征（selected features of an input）
 *  《Black-box generation of adversarial text sequences to evade deep learning classifiers》 Gao et al.开发了一个适用于序列数据（sequence data）的评分系统（scoring functions），并提出修改由评分系统选择的字符级特征（characters of the features）
 *  《Adversarial examples for evaluating reading comprehension systems》 Jia and Liang提出在样本中插入注意力分散语句（distraction sentences）来欺骗阅读理解系统（reading comprehension system）
 *  《Towards crafting text adversarial samples》 Samanta and Mehta在做单词替换时加入了语言学约束（linguistic constraints）

我们提出了二级概率框架（two-stage probabilistic framework）来针对离散输入生成对抗样本。要被扰动的关键特征（key features）在第一阶段（first stage）被识别出；然后这些关键特征在第二阶段被加入扰动，通过选择预先生成的词典（a pre-fixed dictionary）中的值，来加入扰动。基于所提出的框架，我们导出了两种方法——Greedy Attack和Gumbel Attack。

*  Greedy Attack分两个阶段评估具有单特征扰动输入（single-feature pertubed inputs）的模型。而Gumbel Attack学习扰动的参数采样分布（parametric sampling distribution）。
 *  Greedy Attack获得更高的成功率，而Gumbel Attack则需要较少的模型评估，从而提高实时或大规模攻击的效率

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 1][]

Table1比较了这两种方法和其他方法。

## **2、Framework** ##

*  ![20181125153826624.png][]是一个离散空间，例如词典或者字符空间
 *  ![20181125153826632.png][]：输入随机变量。它是一个d维向量，其中的每个分量都属于![20181125153826651.png][]
 *  在此输入下，给定一个集合![20181125153826646.png][]，使集合中产生的输出Y满足条件分布![20181125153826678.png][]
 *  假设存在![20181125153826754.png][]，可以作为对分类没有贡献的一个参考点，比如w0可以是文本分类中的补零点（zero padding）
 *  ![20181125153826760.png][]：扰动样本
 *  定义变量![20181125153826769.png][]，![20181125153826788.png][]为攻击是否成功地指示变量（indicator variable）。攻击的目标是将给定样本x通过加扰变为![20181125153826799.png][]，从而使![20181125153826823.png][]。

我们将扰动限制在x的k个特征上，通过两个阶段实现攻击。

*  第一个阶段找到对于x而言最重要的k个特征。
 *  第二个阶段找到值来替换k个选择的特征。

![20181125153826919.png][]

其中：

*  ![201811251540479.png][]是包含与x最多k个位置不同的所有元素的集合，其中不同的特征总是取值w0。![20181125153826937.png][]表示a和x不同的特征数。
    
    【理解】：a是从x改动过来的，二者都是d维向量。改动的时候a的分量要么取x的对应分量（即![20181125153826936.png][]），要么取![20181125153826975.png][]。a中改取![20181125153826998.png][]的个数不能超过k。
    
    first stage中![2018112515382733.png][]的定义应该为![2018112515382737.png][]。所以first stage的任务就是找a**（然后记为**![2018112515382747.png][]**）****，使得a和x被分成不同类的概率最大。**
 *  ![20181125153827107.png][]![20181125153827134.png][]。![20181125153827159.png][]是由攻击者选出的一个子集。
    
    【理解】：此时的a是由![20181125153827213.png][]改动过来的，如果![20181125153827223.png][]的第i个分量同x的第i个分量，则将其作为a的第i个分量。否则从![20181125153827245.png][]中挑选分量。**将使分类改变概率最大的a记为**![20181125153827277.png][]

【整体理解】：first stage找特征，上文说了![20181125153827293.png][]可以取补零点（大概就是0？），即相当于抹掉x中的不超过k个特征，使得分类改变概率最大。second stage在![20181125153827326.png][]中找新的特征，换到![20181125153827343.png][]的位置，由此构建对抗样本。

但是以上方法难以计算，所以提出了另一种表示形式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 2][]

*  ![20181125153827394.png][]表示d维0-1矢量（其中1的个数为k）的空间（the space of d-dimensional zero-one vectors with k ones）。
    
    【理解】：D空间中都是d维向量，向量的d个分量中有k个为1，剩下的d-k个分量为0.
 *  G 是![20181125153827405.png][]中的随机变量（也就是一个d维向量）
 *  ![20181125153827443.png][]是一个函数，若![20181125153827458.png][]则![20181125153827477.png][]；否则![20181125153827524.png][]

**在first stage中**，令![20181125153827513.png][]，其中G由以X为条件的分布生成。

【理解】：按照上面的定义，X 是d维输入向量，G是d维0-1向量（其中k个1）。现在要用函数![20181125153827519.png][]构造d维向量![20181125153827578.png][]，构造规则是：如果 G 中第i个分量为0，则![20181125153827600.png][]的第i个分量等于 X 的第i个分量；若 G 中第i个分量为1，则![20181125153827636.png][]的第i个分量为 ![20181125153827643.png][]。

为了对![20181125153827657.png][]增加一个约束，我们定义k个独立同分布的d维随机独热变量![20181125153827679.png][]。令![20181125153827705.png][]，其中![20181125153827705.png][]分别是![20181125153827765.png][]的第i个变量。

【理解】：这里说的是G的生成。先根据X的分布生成k个d维独热变量，![20181125153827810.png][]应该是其中一个。这个k个独热变量刚好有（？）k个位置为1.则将G的这k个位置也置1，其它位置置0.

我们想要最大化![20181125153827809.png][]，整个攻击方法是

![20181125153827813.png][]

通过类别分布（categorical distribution）![20181125153827839.png][]可得到x的d个特征的等级（rank）。定义![20181125153827860.png][]![20181125153827864.png][]为定性函数（deterministic function），以此找出基于rank：![20181125153827917.png][]的top k个特征

【理解】：

*  目标函数：最大化![20181125153827922.png][]被分为不同类的概率。
 *  约束条件：
    
    ![20181125153827931.png][]：![20181125153827956.png][]是基于X的独立同分布
    
    ![2018112515382827.png][]：![2018112515382836.png][]是通过![2018112515382848.png][]函数产生的

**在second stage中**

*  ![2018112515382853.png][]是一个d维随机变量，其中![2018112515382866.png][]是集合![2018112515382862.png][]中一个随机的独热变量（![20181125153828150.png][]维）。
 *  ![20181125153828168.png][]为大小为k的\[d\]子集的集合
 *  ![20181125153828174.png][]是一个函数，记为![20181125153828191.png][]。若![20181125153828197.png][]（![20181125153828259.png][]），则函数值为![20181125153828266.png][]；否则为![20181125153828301.png][]中与独热向量![20181125153828306.png][]有关的值。
 *  ![20181125153828354.png][]为扰动输入，其中H由X的分布产生。我们对![20181125153828361.png][]进行约束，要求![20181125153828370.png][]独立于X。我们要最大化![20181125153828406.png][]，整体攻击方法是：

![20181125153828426.png][]

通过类别分布![20181125153828447.png][]可以得出为每个特征i从![20181125153828476.png][]中选出的值的rank。x的扰动是基于![20181125153828479.png][]的rank选出top k个特征![20181125153828548.png][]。每个选择的特征![20181125153828603.png][]都是依据![20181125153828614.png][]从![20181125153828613.png][]中选出的。

## **3 Methods** ##

**3.1 Greedy Attack**

![20181125153828650.png][]是一个d维独热向量，其中第i个分量为1，为了解决公式3，我们将目标分解为：

![20181125153828692.png][]

第二个等式是由独立假设推导出的。

然而![20181125153828707.png][]很难计算，所以使用![20181125153828707.png][]进行掩蔽，得到仅有第i个特征的输出（与![20181125153828733.png][]相关），由此近似：

![20181125153828759.png][]

其中![20181125153828810.png][]用![20181125153828814.png][]取代x的第i个特征。我们观察到若：

![20181125153828828.png][]

则近似目标（approximated objective）是最大化的。

同样的，我们分解公式4：

![20181125153828847.png][]

其中![20181125153828855.png][]表示用![20181125153828920.png][]取代x的第i个特征，来进行扰动，但是保持剩下的特征同![20181125153828936.png][]一样。当：

![20181125153828940.png][]

时，近似目标是最大化的。

Greedy Attack由公式6和公式8构成。详见Algorithm 1：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 3][]

### **3.2 Gumbel Attack** ###

Algorithm 1对每个样本花费![20181125153828957.png][]时间进行分析，若数据集很大，Greedy Attack的时间开销也会很大。对公式(3)和公式(4)的另一种方法是，在对抗性攻击之前，将![20181125153828966.png][]参数化，并直接在相同分布的训练数据集中优化参数族上的目标。这种方法用Algorithm 2描述：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 4][]

公式3和公式4中包含k个类别的随机变量，直接模型评估需要分别考虑![2018112515382942.png][]项和![2018112515382953.png][]项。一个简单的近似方法是公式5和公式7，其中其中我们假设隐藏节点G和H的分布用贪婪算法很好地逼近。但是，这对于每个训练样本需要花费![20181125153829123.png][]次模型评估。有一些近似方法：

*  取X的确定性函数参数化的特征的加权和，类似于soft-attention mechanism![20181125153829150.png][]
 *  REINFORCE-type 算法![20181125153829168.png][]

我们提出的方法基于“Gumbel trick”![20181125153829165.png][]，并与Greedy Attack中提出的目标函数近似相结合。这种方法有较小的方差和更好的效果。

## **4 Experiments** ##

对三个数据集分别用了WordCNN、CharCNN和LSTM的网络：

![20181125153829176.png][]

我们将Greedy attack和Gumbel attack和以下方法进行比较：

*  **Delete-1 Score**：用零填充掩盖每个特征，用预测概率的下降作为特征的得分，用未知掩盖top-k特征。
    
    ![20181125153829204.png][]
 *  **DeepWordBag**：对于每个特性，计算两个分数的线性组合，第一个分数根据前面的特性评估特性，第二个分数根据后面的特性评估特性。权重由用户选择。
    
    ![20181125153829252.png][]
 *  **Projected FGSM**：选择w'替换原单词w，使得![20181125153829276.png][]最小，其中emb(w)是w的词嵌入向量，![20181125153829284.png][]是相对于原始词嵌入的预测概率的梯度。
    
    ![20181125153829291.png][]
    
    ![20181125153829323.png][]
 *  **Saliency**：根据梯度选择top k个特征，求特征嵌入向量的梯度的l1范数，并将其置为unknown
    
    ![20181125153829392.png][]
    
    ![20181125153829405.png][]
 *  **Saliency-FGSM**：根据Saliency map选择k个特征，将其用projected FGSM替换

### **4.1 Word-based models** ###

对IMDB数据集用word-based CNN，对Yahoo! Answers数据集用word-based LSTM。对每种方法，替换词词典![20181125153829411.png][]均为频数最高的500个单词。

TODO

测试样本的准确率由Figure 3给出。可以看到Greedy Attack是效果最好的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 5][]

成功的攻击案例由Table 3和Table 4给出：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 6][]

![20181125153829494.png][]

### **4.2 Character-based models** ###

对每种方法，替换词![20181125153829525.png][]的词典选择了整个字母表（alphabet）.Gumbel Attack的架构同Figure 2.

TODO

Table 5展示了成功的攻击案例

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 7][]

### **4.3 Efficiency，transferabiliey and human evaluation** ###

*  **Efficiency**：我们测试了各种方法的用时，实验基于NVidia Tesla k80 GPU，编码在TensorFlow上。Figure 4显示了各种方法的平均用时：
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 8][]
    
    Gumbel 方法是所有方法中最有效的。随着被攻击数据规模的增大，Gumbel攻击训练占总时间的比例越来越小
 *  **Transferability**：为了显示攻击方法的可迁移性，我们在IMDB上训练了两个新模型，分别是CNN2（比先前的CNN多了一些全连接层dense layer）和LSTM（与Yahoo！的一样）；在Yahoo！上训练了两个新模型，分别是LSTM2（单向，256个memory unit，使用GloVe）和CNN（与IMDB的一样）。实验结果如Figure 5：
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 9][]
    
    Greedy Attack在Yahoo!数据集中迁移性较好，但在IMDB中表现不佳。Gumbel Attack在两个数据集中都保持着很高的成功率。
 *  **Human evaluation**：Amazon Mechanical Turk上的三名员工被要求对每一篇文章进行分类。我们报告的准确性是大多数选票与事实的一致性。如果不存在多数投票，我们将结果解释为不一致。对于每个数据集，使用两种方法成功攻击的200个样本。结果Figure 5所示。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70]: /images/20220414/339b80228a5e439fbae6ff50d6dadf2f.png
[ICLR2019 OpenReview]: https://openreview.net/forum?id=ByghKiC5YX&noteId=ByghKiC5YX
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 1]: /images/20220414/14053def23104519b8295c3e228f7a1d.png
[20181125153826624.png]: /images/20220414/dee040ee46554a25bb8cab9fec97ea58.png
[20181125153826632.png]: https://img-blog.csdnimg.cn/20181125153826632.png
[20181125153826651.png]: /images/20220414/a82ad59a43e7404a9c996ad269c11981.png
[20181125153826646.png]: https://img-blog.csdnimg.cn/20181125153826646.png
[20181125153826678.png]: /images/20220414/476b502b557c40448d4e025cf8f2a9ab.png
[20181125153826754.png]: /images/20220414/88750fccb8d6428db436d188379bb5f6.png
[20181125153826760.png]: /images/20220414/47d6750c16d44ea4bc934676921bf6e9.png
[20181125153826769.png]: https://img-blog.csdnimg.cn/20181125153826769.png
[20181125153826788.png]: https://img-blog.csdnimg.cn/20181125153826788.png
[20181125153826799.png]: https://img-blog.csdnimg.cn/20181125153826799.png
[20181125153826823.png]: /images/20220414/94c4f93f119d408f92d1101d8612ae79.png
[20181125153826919.png]: /images/20220414/fe34b473dc5a4c5ca910debfbd0cd47a.png
[201811251540479.png]: https://img-blog.csdnimg.cn/201811251540479.png
[20181125153826937.png]: /images/20220414/6465d0026b544d46bceca19623ab100f.png
[20181125153826936.png]: https://img-blog.csdnimg.cn/20181125153826936.png
[20181125153826975.png]: https://img-blog.csdnimg.cn/20181125153826975.png
[20181125153826998.png]: /images/20220414/1ca455d9ec6d4ff98d1c000d5b0bc9cb.png
[2018112515382733.png]: https://img-blog.csdnimg.cn/2018112515382733.png
[2018112515382737.png]: https://img-blog.csdnimg.cn/2018112515382737.png
[2018112515382747.png]: /images/20220414/3deb223adefd4039a038988d4580acee.png
[20181125153827107.png]: https://img-blog.csdnimg.cn/20181125153827107.png
[20181125153827134.png]: https://img-blog.csdnimg.cn/20181125153827134.png
[20181125153827159.png]: /images/20220414/32304b397b9f4bdba0b974eabaad1ba5.png
[20181125153827213.png]: https://img-blog.csdnimg.cn/20181125153827213.png
[20181125153827223.png]: https://img-blog.csdnimg.cn/20181125153827223.png
[20181125153827245.png]: https://img-blog.csdnimg.cn/20181125153827245.png
[20181125153827277.png]: /images/20220414/2fe5604acab146689ac93be183f80456.png
[20181125153827293.png]: https://img-blog.csdnimg.cn/20181125153827293.png
[20181125153827326.png]: https://img-blog.csdnimg.cn/20181125153827326.png
[20181125153827343.png]: /images/20220414/8c18e15762654f3ab7a76e3359c705ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 2]: /images/20220414/17ad0fa5ddbd48e283ccc266d68c0a31.png
[20181125153827394.png]: /images/20220414/980846fe71fc438f8b97fc85a94544ba.png
[20181125153827405.png]: /images/20220414/1c11055d2a364a7789eb8740efa8ad19.png
[20181125153827443.png]: https://img-blog.csdnimg.cn/20181125153827443.png
[20181125153827458.png]: https://img-blog.csdnimg.cn/20181125153827458.png
[20181125153827477.png]: https://img-blog.csdnimg.cn/20181125153827477.png
[20181125153827524.png]: /images/20220414/d0a6c98143164e4f8b9b27ff46d2af52.png
[20181125153827513.png]: /images/20220414/185085432f2d4f10b7cafa4d7cafd101.png
[20181125153827519.png]: https://img-blog.csdnimg.cn/20181125153827519.png
[20181125153827578.png]: https://img-blog.csdnimg.cn/20181125153827578.png
[20181125153827600.png]: https://img-blog.csdnimg.cn/20181125153827600.png
[20181125153827636.png]: https://img-blog.csdnimg.cn/20181125153827636.png
[20181125153827643.png]: /images/20220414/e4fd34e4ffd147d8921c5478c5ea75e9.png
[20181125153827657.png]: https://img-blog.csdnimg.cn/20181125153827657.png
[20181125153827679.png]: https://img-blog.csdnimg.cn/20181125153827679.png
[20181125153827705.png]: https://img-blog.csdnimg.cn/20181125153827705.png
[20181125153827765.png]: /images/20220414/29d7c995bb1f4565af634e9b405223f9.png
[20181125153827810.png]: /images/20220414/e5d2f6b0ca694c6286f357c9f30f1a43.png
[20181125153827809.png]: /images/20220414/4cb93879dddc4872b1686937564b017f.png
[20181125153827813.png]: /images/20220414/2afca82e46ba46bb8e9b635f962dd033.png
[20181125153827839.png]: https://img-blog.csdnimg.cn/20181125153827839.png
[20181125153827860.png]: https://img-blog.csdnimg.cn/20181125153827860.png
[20181125153827864.png]: https://img-blog.csdnimg.cn/20181125153827864.png
[20181125153827917.png]: /images/20220414/9e8ed498c75641a3be6c2313c2481c17.png
[20181125153827922.png]: /images/20220414/99feaa4b2b604d78a4888383ae6d5041.png
[20181125153827931.png]: https://img-blog.csdnimg.cn/20181125153827931.png
[20181125153827956.png]: /images/20220414/39bd08bce4554ea18313487237b2d4dc.png
[2018112515382827.png]: https://img-blog.csdnimg.cn/2018112515382827.png
[2018112515382836.png]: https://img-blog.csdnimg.cn/2018112515382836.png
[2018112515382848.png]: /images/20220414/51330737487041f18efe21ff3a75191c.png
[2018112515382853.png]: https://img-blog.csdnimg.cn/2018112515382853.png
[2018112515382866.png]: https://img-blog.csdnimg.cn/2018112515382866.png
[2018112515382862.png]: https://img-blog.csdnimg.cn/2018112515382862.png
[20181125153828150.png]: /images/20220414/1bc90e3515054c9e86ac9d623dd42804.png
[20181125153828168.png]: /images/20220414/ec6e2b13d71c480d831f572d06901936.png
[20181125153828174.png]: https://img-blog.csdnimg.cn/20181125153828174.png
[20181125153828191.png]: https://img-blog.csdnimg.cn/20181125153828191.png
[20181125153828197.png]: https://img-blog.csdnimg.cn/20181125153828197.png
[20181125153828259.png]: https://img-blog.csdnimg.cn/20181125153828259.png
[20181125153828266.png]: https://img-blog.csdnimg.cn/20181125153828266.png
[20181125153828301.png]: https://img-blog.csdnimg.cn/20181125153828301.png
[20181125153828306.png]: /images/20220414/e7cd495d3b49485bb3f8b21dbd9ed786.png
[20181125153828354.png]: https://img-blog.csdnimg.cn/20181125153828354.png
[20181125153828361.png]: https://img-blog.csdnimg.cn/20181125153828361.png
[20181125153828370.png]: https://img-blog.csdnimg.cn/20181125153828370.png
[20181125153828406.png]: /images/20220414/7abbb5520ade434a87c7b94cd2357214.png
[20181125153828426.png]: /images/20220414/3765e139bd6340ec80875e5cff780258.png
[20181125153828447.png]: https://img-blog.csdnimg.cn/20181125153828447.png
[20181125153828476.png]: https://img-blog.csdnimg.cn/20181125153828476.png
[20181125153828479.png]: https://img-blog.csdnimg.cn/20181125153828479.png
[20181125153828548.png]: https://img-blog.csdnimg.cn/20181125153828548.png
[20181125153828603.png]: https://img-blog.csdnimg.cn/20181125153828603.png
[20181125153828614.png]: https://img-blog.csdnimg.cn/20181125153828614.png
[20181125153828613.png]: /images/20220414/4dd5634120ed41bdaf4c1f781c0a44d5.png
[20181125153828650.png]: /images/20220414/b2c0ca2f64e04ce09ff313c2d5310121.png
[20181125153828692.png]: /images/20220414/f135bf4bcab04ff8acca7594d6ad2930.png
[20181125153828707.png]: https://img-blog.csdnimg.cn/20181125153828707.png
[20181125153828733.png]: /images/20220414/2cf4366d87014a27a471a324d8d2cbaa.png
[20181125153828759.png]: /images/20220414/9626bd11cf8741d3a4a3694f32eac0ac.png
[20181125153828810.png]: https://img-blog.csdnimg.cn/20181125153828810.png
[20181125153828814.png]: /images/20220414/2b5c2e3f2d2a455ab54f0b6911bea541.png
[20181125153828828.png]: /images/20220414/1b2bb681aace48b589483d858815186b.png
[20181125153828847.png]: /images/20220414/ece1846a82194f798ea7be56995e190c.png
[20181125153828855.png]: https://img-blog.csdnimg.cn/20181125153828855.png
[20181125153828920.png]: https://img-blog.csdnimg.cn/20181125153828920.png
[20181125153828936.png]: /images/20220414/fb21ccaf1ad546e69ff0b956069bf4bd.png
[20181125153828940.png]: /images/20220414/573cf141129640dbb8e5a25e468309d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 3]: /images/20220414/d3ee04ba74604cde8dea06406cc7447b.png
[20181125153828957.png]: https://img-blog.csdnimg.cn/20181125153828957.png
[20181125153828966.png]: /images/20220414/6728c197ec9e4baaba817fdb5710d86b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 4]: /images/20220414/06f10e5eb5db42cb8b238861b787e308.png
[2018112515382942.png]: https://img-blog.csdnimg.cn/2018112515382942.png
[2018112515382953.png]: https://img-blog.csdnimg.cn/2018112515382953.png
[20181125153829123.png]: /images/20220414/7ae75ee60a004d53bb06648de786f28e.png
[20181125153829150.png]: /images/20220414/e670721e160049c09b0ba9d16f2ef1ac.png
[20181125153829168.png]: /images/20220414/3d354f9fc21d4e36bb0f562bac10cbe6.png
[20181125153829165.png]: /images/20220414/45925b55e0e0429fac29535fcd9aa20c.png
[20181125153829176.png]: /images/20220414/38c13d80b3704cd99dff536b0af06b8f.png
[20181125153829204.png]: /images/20220414/994b2d6de8434872b952ea3d31679956.png
[20181125153829252.png]: /images/20220414/32845ec7a4ac462a9d131c45aa932682.png
[20181125153829276.png]: https://img-blog.csdnimg.cn/20181125153829276.png
[20181125153829284.png]: /images/20220414/f966c39bda9c42b48c1d9b725ea5d5b2.png
[20181125153829291.png]: /images/20220414/83b5d02438d743658f4f52c59a6d8853.png
[20181125153829323.png]: /images/20220414/b9af70572b224316899c276e4f2e3b9a.png
[20181125153829392.png]: /images/20220414/e9ab3140ef88439da88900410c2d6042.png
[20181125153829405.png]: /images/20220414/561fbd6397ee4bbb97adc8729a02faf7.png
[20181125153829411.png]: /images/20220414/8b046ff9848841249bcc5c6270517ef2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 5]: /images/20220414/285e4c0be9134ddf8783053c85d53adf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 6]: /images/20220414/6d7d1277c72b4ba9bc5061460238bd1e.png
[20181125153829494.png]: /images/20220414/1142925959574df9906f2ccbca940cb3.png
[20181125153829525.png]: /images/20220414/f0dba7747c134ae6967ae11412e78527.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 7]: /images/20220414/c40541e85ad94a3cb86ea2b5af8bd4d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 8]: /images/20220414/5f12752ac8934d49956eda76f24f0948.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2ODI5MDkx_size_16_color_FFFFFF_t_70 9]: /images/20220414/1600edbe07d24f2b80b7306ebbc07785.png