从语言模型Bert来理解NLP

小灰灰 2023-07-12 09:13 58阅读 0赞

**目录**

1. Bert的基本原理

2. Bert模型的输入和输出

3. Bert模型中的transformer架构

4. Bert模型的训练过程

4.1 Makded LM

4.2 Next Sentence Prediction

5. Bert两个预训练任务的损失函数

6. Bert模型为什么要用mask？它是如何mask的？其mask相对于CBOW有何异同点？

6.1 Bert模型为什么要用mask？

6.2 如何使用mask？

6.3 其mask相对于CBOW有什么异同点？

7. 为什么Bert比ELMO效果好？ELMO和Bert的区别是什么？

7.1 为什么Bert比ELMO效果好

7.2 ELMO与Bert的区别是什么？

8. Bert的局限性

9. 从词袋模型word2vec改进了什么？从word2vec到Bert又改进了什么？

9.1 从词袋模型到word2vec改进了什么？

9.2 从word2vec到Bert又改进了什么？

--------------------

总结下Bert，从头到尾读完应该会有一个全新的理解。

## 1. Bert的基本原理 ##

Bert的参考论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，Bert是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型：

1.  第一个任务是采用 Mask LM的方式来训练语言模型，通俗地说就是在输入一句话时，随机地选一些要预测的词，然后用一个特殊的符号\[MASK\]来代替它们，之后让模型根据所给的标签去学习这些地方该填的词。
2.  第二个任务在双向语言模型的基础上额外增加一个句子级别的连续性预测任务，即预测输入Bert的两端文本是否为连续的文本，引入这个任务可以更好地让模型学到连续的文本片段之间的关系。

其次，Bert用的fine-tune主要应用在以下4大场景中：

*  句子语义相似度的任务

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70][]

*  多标签分类的任务

多标签分类任务，即MultiLabel，指的是一个样本可能同时属于多个类，即有多个标签。如一件L尺寸的衣服，该样本至少有两个标签----型号：L，类型：冬装。

对于多标签任务，通常做法是给它训练几个分类模型即可，然后再一一判断在该类别中，其属于哪个子类别，但是这种做法太low，而且没有考虑到多个任务之间的依赖关系，其实可以用一个模型解决的。

利用Bert模型解决多标签分类问题时，其输入与普通单标签分类问题一致，得到Bert输出的embedding后，后接全连接层，softmax分类，这样会得到loss1,loss2,loss3，最后将所有的loss加起来。这种做法相当于将n个分类模型的特征提取层参数共享，得到一个共享的表示，最后再做多标签分类任务。

*  针对翻译的任务
 *  文本生成的任务

## 2. Bert模型的输入和输出 ##

Bert模型的主要输入是文本中各个字/词(token)的原始词向量，该向量可以是随机初始化的也可以利用Word2Vector等算法进行预训练作为初始值；输出是文本中各个字/词(token)融合了全文语义信息后的向量表示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 1][]

此外，模型的输入除了字向量（token embedding）之外，还包含另外两个部分：

*  文本向量（segment embedding）：该向量的取值在模型训练过程中自动学习，用于刻画文本的全局语义信息，并与单字/词的语义信息相融合。
 *  位置向量（position embedding）：由于出现在文本不同位置的字/词所携带的语义信息存在差异，因此Bert模型对不同位置的字/词分别附加一个不同的向量以作区分。

最后，Ber模型将字向量、文本向量和位置向量的加和作为模型的输入。特别地，在目前的Bert模型中，文章作者还将英文词汇作为进一步切割，划分为更细粒度的语义单位（WordPiece），如将playing分别为play和\#\#ing；此外，对于中文，目前作者未对文本进行分词，而实直接将单字作为构成文本的基本单位。

需要注意的是，上图中只是简单介绍了单个句子输入Bert模型中的表示，实际上，在做Next Sentence Prediction任务时，在第一个句子的首部会加上一个**\[CLS\]** token，在两个句子中间以及最后一个句子的尾部会加上一个**\[SEP\]** token。

## 3. Bert模型中的transformer架构 ##

Bert只使用了transformer的encoder模块，原论文中，作者分别用了12层和24层Transformer Encoder组装了两套Bert模型，分别是：

*  ![Bert\_\{BASE\}:L=12,H=768,A=12,TotalParameters=110M][Bert_BASE_L_12_H_768_A_12_TotalParameters_110M]
 *  ![Bert\_\{LARGE\}:L=24,H=1024,A=16,TotalParameters=340M][Bert_LARGE_L_24_H_1024_A_16_TotalParameters_340M]

其中，层（即Transformer Encoder块）的数量为L，隐藏层的维度是H，自注意头的数量是A。在所有例子中，我们将前馈/过滤器（即 Transformer Encoder端的feed-forward层）的维度设置为4H，即当H=768时是3072；当H=1024时是4096.

图示如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 2][]

注意：与transformer本身的encoder端相比，Bert的Transformer Encoder端输入的向量中多了Segent Embedding向量。

## 4. Bert模型的训练过程 ##

论文中，作者提出了两个预训练任务：Maked LM和Next Sentence Prediction。

### 4.1 Makded LM ###

Masked LM的任务描述为：给定一句话，随机Mask掉这句话中的一个或几个词，要求根据剩余词汇预测被Mask掉的几个词是什么，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 3][]

具体来说就是，在一句话中随机选择15%的词汇用于预测。对于原句中被Mask掉的词汇，80%的情况会使用一个特殊符号**\[MASK\]**替换，10%的情况下采用一个**任意词**替换，剩余10%情况下保持**原词汇不变**。

这么做的优点是：在后续微调的过程中，语句并不会出现\[MASK\]标记，当预测词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（10%的概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予模型一定的纠错能力。

缺点：由于每批次数据中，只有15%的标记被预测，这意味着模型需要更多的预训练步骤来收敛。

### 4.2 Next Sentence Prediction ###

Next Sentence Prediction的任务描述为：给定一篇文章中的两句话，判断第二句话在文本中是否紧跟在第一句话之后，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 4][]

Next Sentence Prediction任务实际上是段落重排序的简化版：只考虑两句话，判断是否是一篇文章中的前后句。在实际预训练过程中，文章作者从文本语料库中随机选择50%正确语句对和50%错误语句对进行训练，与Masked LM 任务相结合，让模型能够更准确地刻画语句乃至整篇文章层面的语义信息。

## 5. Bert两个预训练任务的损失函数 ##

Bert的损失函数由两部分组成，第一部分来自Masked LM（单词级别分类任务），另一部分是Next Sentence Prediction（句子级别的分类任务）。通过这两个任务的联合学习，可以使得Bert学习到的表征既有token级别信息，同时也包含了句子级别的语义信息。具体损失函数如下：

![L(\\theta ,\\theta\_\{1\},\\theta\_\{2\})=L\_1(\\theta,\\theta\_1) + L\_2(\\theta,\\theta\_2)\{\\color\{Green\} \}][L_theta _theta_1_theta_2_L_1_theta_theta_1_ _ L_2_theta_theta_2_color_Green_]

其中，![\\theta][theta] 是Bert中 encoder部分的参数，![\\theta\_1][theta_1] 是Mask-LM任务中在encoder上所接的输出层中的参数；![\\theta\_2][theta_2] 则是在句子预测任务中在encoder接上的分类器参数。因此在第一部分的损失函数中，如果被mask 的词集合为M，因为它是一个词典|V| 上的多分类问题，那么具体说来有：

![L\_1(\\theta,\\theta\_1)=-\\sum\_\{i=1\}^M logp(m=m\_i |\\theta ,\\theta\_1), m\_i \\in\[1,2,...,|V|\]][L_1_theta_theta_1_-_sum_i_1_M logp_m_m_i _theta _theta_1_ m_i _in_1_2_..._V]

在句子预测任务中，也是一个分类问题的损失函数：

![L\_2(\\theta,\\theta\_2)=-\\sum\_\{j=1\}^N logp(n=n\_i|\\theta,\\theta\_2),n\_i \\in \[IsNext,NotNext\]][L_2_theta_theta_2_-_sum_j_1_N logp_n_n_i_theta_theta_2_n_i _in _IsNext_NotNext]

因此，两个任务联合学习的损失函数是：

![L(\\theta,\\theta\_1,\\theta\_2)=-\\sum logp(m=m\_i|\\theta,\\theta\_1) - \\sum\_\{j=1\}^N logp(n=n\_1|\\theta,\\theta\_2)][L_theta_theta_1_theta_2_-_sum logp_m_m_i_theta_theta_1_ - _sum_j_1_N logp_n_n_1_theta_theta_2]

具体的训练工程实现细节方面，Bert还利用了一系列策略，使得模型更易于训练，比如对于学习率的warm-up策略，使用的激活函数不再是普通的ReLu，而实GeLu，也使用了dropout等常见的训练技巧。

## 6. Bert模型为什么要用mask？它是如何mask的？其mask相对于CBOW有何异同点？ ##

### 6.1 Bert模型为什么要用mask？ ###

原因就是使用mask是为了引入噪声，属于增强模型鲁棒性的一种手段。通过上面的内容可以知道，通过在输入X句子中随机mask掉一部分单词，然后在预训练过程中根据上下文单词来预测这些mask掉的单词，这种模式就是典型的Denosing Autoencoder的思路，那些被mask掉的单词就是在输入侧加入的所谓噪音。类似Bert这种预训练模式，被称为DAE LM。

DAE LM预训练模式的优点：它能比较自然地融入双向语言模型，同时看到被预测单词的上文和下文。缺点：主要在输入侧引入\[Mask\]标记，导致预训练阶段和Fine-Tune阶段不一致问题。（这个问题的解决参考6.2内容）

### 6.2 如何使用mask？ ###

在给定的句子X中，会随机mask 15%的词，然后让Bert来预测这些mask的词，如同如同上述6.1所述，在输入侧引入\[Mask\]标记会导致预训练和Fine-Tune阶段不一致问题，论文中作者采取了如下措施：

如果某个token在被mask掉的15%里，则按照下面的方式随机的执行：

*  80%的概率替换成\[MASK\]；
 *  10%的概率替换成随机的一个词；
 *  10%的概率它本身不变

这样做的好处是，Bert并不知道\[MASK\]替换掉的是这15%token中的哪一个词，而且任何一个词都可能是被替换掉的，这样强迫模型在编码当前时刻的时候不能太依赖于当前的词，而要考虑它的上下文，甚至对其上下文进行“纠错”。

### 6.3 其mask相对于CBOW有什么异同点？ ###

相同点：CBOW的核心思想是，给定上下文，根据它的上文context-before和下文context-after去预测input word。Bert本质上也是如此。

不同点：首先，在CBOW中，每个单词会称为input word，而Bert中只有15%的词会称为input word。其次，对于数据输入部分，CBOW中的输入数据只有待预测单词的上下文，而Bert的输入是带有\[MASK\] token的“完整”句子，也就是说Bert在输入端将待预测的input word 用\[MASK\] token 代替了。

另外，通过CBOW模型训练后，每个单词的 word embedding 是唯一的，因此并不能很好的处理一词多异的问题；而Bert模型得到的word embedding （token embedding）融合了上下文信息，就算是同一个单词，在不同的上下文环境下，得到的word embedding 是不一样的。

## 7. 为什么Bert比ELMO效果好？ELMO和Bert的区别是什么？ ##

### 7.1 为什么Bert比ELMO效果好 ###

从网络结构以及最后的实验效果来看，BERT 比 ELMo 效果好主要集中在以下几点原因：

1.  LSTM 抽取特征的能力远弱于 Transformer
2.  拼接方式双向融合的特征融合能力偏弱(没有具体实验验证，只是推测)
3.  其实还有一点，BERT 的训练数据以及模型参数均多余 ELMo，这也是比较重要的一点

### 7.2 ELMO与Bert的区别是什么？ ###

ELMo 模型是通过语言模型任务得到句子中单词的 embedding 表示，以此作为补充的新特征给下游任务使用。因为 ELMO 给下游提供的是每个单词的特征形式，所以这一类预训练的方法被称为“Feature-based Pre-Training”。而 BERT 模型是“基于 Fine-tuning 的模式”，这种做法和图像领域基于 Fine-tuning 的方式基本一致，下游任务需要将模型改造成 BERT 模型，才可利用 BERT 模型预训练好的参数。

## 8. Bert的局限性 ##

从 XLNet 论文中，提到了 BERT 的两个缺点，分别如下：

*  BERT 在第一个预训练阶段，假设句子中多个单词被 Mask 掉，这些被 Mask 掉的单词之间没有任何关系，是条件独立的，然而有时候这些单词之间是有关系的，比如”New York is a city”，假设我们 Mask 住”New”和”York”两个词，那么给定”is a city”的条件下”New”和”York”并不独立，因为”New York”是一个实体，看到”New”则后面出现”York”的概率要比看到”Old”后面出现”York”概率要大得多。
    
     *  但是需要注意的是，这个问题并不是什么大问题，甚至可以说对最后的结果并没有多大的影响，因为本身 BERT 预训练的语料就是海量的(动辄几十个 G)，所以如果训练数据足够大，其实不靠当前这个例子，靠其它例子，也能弥补被 Mask 单词直接的相互关系问题，因为总有其它例子能够学会这些单词的相互依赖关系。
 *  BERT 的在预训练时会出现特殊的\[MASK\]，但是它在下游的 fine-tune 中不会出现，这就出现了预训练阶段和 fine-tune 阶段不一致的问题。其实这个问题对最后结果产生多大的影响也是不够明确的，因为后续有许多 BERT 相关的预训练模型仍然保持了\[MASK\]标记，也取得了很大的结果，而且很多数据集上的结果也比 BERT 要好。但是确确实实引入\[MASK\]标记，也是为了构造自编码语言模型而采用的一种折中方式。

另外还有一个缺点，是 BERT 在分词后做\[MASK\]会产生的一个问题，为了解决 OOV 的问题，我们通常会把一个词切分成更细粒度的 WordPiece。BERT 在 Pretraining 的时候是随机 Mask 这些 WordPiece 的，这就可能出现只 Mask 一个词的一部分的情况，例如：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 5][]

probability 这个词被切分成”pro”、”\#babi”和”\#lity”3 个 WordPiece。有可能出现的一种随机 Mask 是把”\#babi” Mask 住，但是”pro”和”\#lity”没有被 Mask。这样的预测任务就变得容易了，因为在”pro”和”\#lity”之间基本上只能是”\#babi”了。这样它只需要记住一些词(WordPiece 的序列)就可以完成这个任务，而不是根据上下文的语义关系来预测出来的。类似的中文的词”模型”也可能被 Mask 部分(其实用”琵琶”的例子可能更好，因为这两个字只能一起出现而不能单独出现)，这也会让预测变得容易。

为了解决这个问题，很自然的想法就是词作为一个整体要么都 Mask 要么都不 Mask，这就是所谓的 Whole Word Masking。这是一个很简单的想法，对于 BERT 的代码修改也非常少，只是修改一些 Mask 的那段代码。

## 9. 从词袋模型word2vec改进了什么？从word2vec到Bert又改进了什么？ ##

### 9.1 从词袋模型到word2vec改进了什么？ ###

词袋模型(Bag-of-words model)是将一段文本（比如一个句子或是一个文档）用一个“装着这些词的袋子”来表示，这种表示方式不考虑文法以及词的顺序。**「而在用词袋模型时，文档的向量表示直接将各词的词频向量表示加和」**。通过上述描述，可以得出词袋模型的两个缺点：

*  词向量化后，词与词之间是有权重大小关系的，不一定词出现的越多，权重越大。
 *  词与词之间是没有顺序关系的。

而 word2vec 是考虑词语位置关系的一种模型。通过大量语料的训练，将每一个词语映射成一个低维稠密向量，通过求余弦的方式，可以判断两个词语之间的关系，word2vec 其底层主要采用基于 CBOW 和 Skip-Gram 算法的神经网络模型。

因此，综上所述，词袋模型到 word2vec 的改进主要集中于以下两点：

*  考虑了词与词之间的顺序，引入了上下文的信息
 *  得到了词更加准确的表示，其表达的信息更为丰富

### 9.2 从word2vec到Bert又改进了什么？ ###

word2vec 到 BERT 的改进之处其实没有很明确的答案，如同上面的问题所述，BERT 的思想其实很大程度上来源于 CBOW 模型，如果从准确率上说改进的话，BERT 利用更深的模型，以及海量的语料，得到的 embedding 表示，来做下游任务时的准确率是要比 word2vec 高不少的。实际上，这也离不开模型的“加码”以及数据的“巨大加码”。再从方法的意义角度来说，BERT 的重要意义在于给大量的 NLP 任务提供了一个泛化能力很强的预训练模型，而仅仅使用 word2vec 产生的词向量表示，不仅能够完成的任务比 BERT 少了很多，而且很多时候直接利用 word2vec 产生的词向量表示给下游任务提供信息，下游任务的表现不一定会很好，甚至会比较差。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308063631765.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200308071753383.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70
[Bert_BASE_L_12_H_768_A_12_TotalParameters_110M]: https://private.codecogs.com/gif.latex?Bert_%7BBASE%7D%3AL%3D12%2CH%3D768%2CA%3D12%2CTotalParameters%3D110M
[Bert_LARGE_L_24_H_1024_A_16_TotalParameters_340M]: https://private.codecogs.com/gif.latex?Bert_%7BLARGE%7D%3AL%3D24%2CH%3D1024%2CA%3D16%2CTotalParameters%3D340M
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200309085009474.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/202003090856073.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200309091031654.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70
[L_theta _theta_1_theta_2_L_1_theta_theta_1_ _ L_2_theta_theta_2_color_Green_]: https://private.codecogs.com/gif.latex?L%28%5Ctheta%20%2C%5Ctheta_%7B1%7D%2C%5Ctheta_%7B2%7D%29%3DL_1%28%5Ctheta%2C%5Ctheta_1%29%20&plus;%20L_2%28%5Ctheta%2C%5Ctheta_2%29%7B%5Ccolor%7BGreen%7D%20%7D
[theta]: https://private.codecogs.com/gif.latex?%5Ctheta
[theta_1]: https://private.codecogs.com/gif.latex?%5Ctheta_1
[theta_2]: https://private.codecogs.com/gif.latex?%5Ctheta_2
[L_1_theta_theta_1_-_sum_i_1_M logp_m_m_i _theta _theta_1_ m_i _in_1_2_..._V]: https://private.codecogs.com/gif.latex?L_1%28%5Ctheta%2C%5Ctheta_1%29%3D-%5Csum_%7Bi%3D1%7D%5EM%20logp%28m%3Dm_i%20%7C%5Ctheta%20%2C%5Ctheta_1%29%2C%20m_i%20%5Cin%5B1%2C2%2C...%2C%7CV%7C%5D
[L_2_theta_theta_2_-_sum_j_1_N logp_n_n_i_theta_theta_2_n_i _in _IsNext_NotNext]: https://private.codecogs.com/gif.latex?L_2%28%5Ctheta%2C%5Ctheta_2%29%3D-%5Csum_%7Bj%3D1%7D%5EN%20logp%28n%3Dn_i%7C%5Ctheta%2C%5Ctheta_2%29%2Cn_i%20%5Cin%20%5BIsNext%2CNotNext%5D
[L_theta_theta_1_theta_2_-_sum logp_m_m_i_theta_theta_1_ - _sum_j_1_N logp_n_n_1_theta_theta_2]: https://private.codecogs.com/gif.latex?L%28%5Ctheta%2C%5Ctheta_1%2C%5Ctheta_2%29%3D-%5Csum%20logp%28m%3Dm_i%7C%5Ctheta%2C%5Ctheta_1%29%20-%20%5Csum_%7Bj%3D1%7D%5EN%20logp%28n%3Dn_1%7C%5Ctheta%2C%5Ctheta_2%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200309194108180.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODY2NDIzMg==,size_16,color_FFFFFF,t_70