bert介绍和使用

末蓝、 2022-09-11 12:28 353阅读 0赞

原文链接：[https://blog.csdn.net/weixin\_46425692/article/details/108890831?ops\_request\_misc=%257B%2522request%255Fid%2522%253A%2522163175571916780274115633%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request\_id=163175571916780274115633&biz\_id=0&utm\_medium=distribute.pc\_search\_result.none-task-blog-2alltop\_click~default-3-108890831.pc\_search\_result\_control\_group&utm\_term=BERT&spm=1018.2226.3001.4187][https_blog.csdn.net_weixin_46425692_article_details_108890831_ops_request_misc_257B_2522request_255Fid_2522_253A_2522163175571916780274115633_2522_252C_2522scm_2522_253A_252220140713.130102334_2522_257D_request_id_163175571916780274115633_biz_id_0_utm_medium_distribute.pc_search_result.none-task-blog-2alltop_click_default-3-108890831.pc_search_result_control_group_utm_term_BERT_spm_1018.2226.3001.4187]

## 1.前言 ##

bert是非常出名的预训练模型，它在**很少的数据**也能有很好的表现。  
在我们将要引出bert模型时，先来简单diss其他常见模型的缺点吧！！

1.  **diss Word2vec**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center]  
    word2vec 不能解决一词多义，也不能解决OOV问题，生成的句子和文档向量也差强人意
2.  **diss RNN**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 1]  
    最出名的缺点是：不能并行，训练速度太慢了
3.  **diss CNN**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 2]  
    虽然可以并行，但太适用于分类任务了，用在其他NLP任务上，效果还不如RNN好
4.  **diss seq2seq**  
    很适合做翻译任务，但encoder和decoder仍然用的RNN，不能并行，所以不能用太深层网络；并且语义向量也只能记住靠近它的一些单词  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 3]
5.  **diss Attention**  
    仍然用的RNN结构，不能用多层，否则速度很慢  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 4]  
    总结：要想改善模型，则不能使用

*  word2vec
 *  RNN 及其变种  
    所以出现了如下发展路径：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 5]

## 2. 简单了解Transformer ##

这里只是简单描述什么是Transformer，至于详细的理解敬请期待 ^^  
Transformer **本质**仍然是 seq2seq 模型，只不过它叠加了**多层**的 encoder和decoder  
![在这里插入图片描述][20201001234858500.png_pic_center]  
其中每个encoder 和 decoder 结构如下，核心是 self-Attention 机制  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 6]

## 3. Bert 模型简介 ##

### 3.1 bert模型结构 ###

*  预测被 \[mask\] 的单词， 相当于完形填空
 *  预测输入的两个句子是否相邻

这两个任务就对应了两个损失，因此 bert 是最小化这两个损失函数的和来训练模型的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 8]

### 3.2 bert的输入 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 9]  
bert将输入句子转化为词向量，是经过了3 个Embedding 的加和, 即  
input\_embed = Token\_embed + Sentence\_embed + Position\_embed.  
源码是：  
![在这里插入图片描述][20201002000517526.png_pic_center]  
调用模型的话，我们只需要输入：

#### 1) input\_ids：一个形状为\[batch\_size, sequence\_length\]的 torch.LongTensor，在词汇表中包含单词的token索引, 注意 在句子首尾分别加了 \[cls\] 和 \[sep\] 的 索引 ####

#### 2) segment\_ids ：形状\[batch\_size, sequence\_length\]的可选 torch.LongTensor，在0, 1中选择token类型索引。类型0对应于句子A，类型1对应于句子B。如 \[0,0,0,0,0,1,1,1,1,1\]， 0代表第一个句子A， 1代表第二个句子B，默认全为0 ####

#### 3) input\_mask：一个可选的 torch.LongTensor，形状为\[batch\_size, sequence\_length\]，索引在0, 1中选择。0 是 padding 的位置，1是没有padding的字 ####

*用其他博客的图：*  
其中input\_ids = seq\_ids  
segment\_ids = token\_type\_ids  
input\_mask = mask  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 10]

### 3.3 bert的下游任务 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 11]

*  加一个**线性层**就可以分类了

### 3.4 使用bert提取Embedding向量 ###

可以看到每个Encoder 的隐层输出我们都可以当成是Ebedding， 但哪一层的Embedding更能代表上下文信息呢？？![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 12]  
第一层效果通常不太好，最后**4层**隐层输出的拼接效果是最好的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 13]

## 4. Bert学习路径 ##

推荐学习路径：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 14]

## 5.体验bert操作 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 15]

### 5.1 准备下载模型 ###

我们需要这3个模型：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 16]  
*vocab.txt 分字表*:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 17]  
**贴心**的我，已经帮大家整理好了，这里用到是中文bert模型。  
![在这里插入图片描述][20201002001939653.png_pic_center]  
链接：https://pan.baidu.com/s/1phZVYv2G-GZXnkWzAhtdeQ  
提取码：gjd1  
复制这段内容后打开百度网盘手机App，操作更方便哦  
下载完之后：再 pip install pytorch\_pretrained\_bert

### 5.2 代码 ###

import torch
    from pytorch_pretrained_bert import BertTokenizer, BertModel, BertConfig, BertForMaskedLM

import torch.nn as nn

*  1
 *  2
 *  3
 *  4

# 设置bert模型路径
    import os
    bert_path = r"D:\Bert\bert-base-chinese"
    bert_config_path = os.path.join(bert_path, r"bert_config.json")
    bert_vocab_path = os.path.join(bert_path, r"vocab.txt")
    bert_model_path = os.path.join(bert_path, r"pytorch_model.bin")
    
     
      
     
      
       1
       2
       3
       4
       5
       6

# 加载模型配置
    bert_config = BertConfig.from_json_file(bert_config_path)

\# 加载中文词库  
bert\_vocab = BertTokenizer(vocab\_file= bert\_vocab\_path)

\# 加载模型  
bert\_model = BertModel.from\_pretrained(bert\_path) \# 这个函数的输入要求a path or url to a pretrained model archive containing:  
\#. `bert_config.json` a configuration file for the model  
\#. `pytorch_model.bin` a PyTorch dump of a BertForPreTraining instance

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 18]

# Tokenize input
    text = "乌兹别克斯坦议会立法院主席获连任"
    # 利用bert自带的分字工具分字
    tokenized_text = bert_vocab.tokenize(text)   # list
    #print("type of tokenized:", type(tokenized_text))

\# 在句子首尾分别加上\[CLS\]，\[SEP\]. \[CLS\] 只有一个，而\[SEP\]在每句话的末尾，当输入两个句子时，就有两个\[SEP\]  
tokenized\_text = \["\[CLS\]"\] \+ tokenized\_text \+ \["\[SEP\]"\]

\#将 字 转化为词库中的索引  
input\_ids = bert\_vocab.convert\_tokens\_to\_ids(tokenized\_text) \# list, len:18  
\#print(“type of input\_ids :”, type(input\_ids), len(input\_ids))  
\#\# input\_ids.shape : \[batch, sequence\_lenth\]

\# Define sentence A and B indices ,由于输入只有一个句子，那么就全定义为0  
segment\_ids = \[0\] \* len(input\_ids)

\# input\_mask，由于没有填充padding, 就全定义为1  
input\_mask = \[1\] \* len(input\_ids)

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19

# Bert 的输入 只支持 长整型，因此必须转化为 torch.long tensor 形式
    input_ids = torch.LongTensor(input_ids)
    print("input_ids: ", input_ids.size())  # input_ids: torch.Size([18])

segment\_ids = torch.tensor(\[segment\_ids\], dtype = torch.long)

input\_mask = torch.tensor(\[input\_mask\], dtype = torch.long)

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7

# bert 模型调用
    all_encoder_layer, pooled_output = bert_model(input_ids, input_mask,segment_ids)
    ## all_encoder_layers: 一个包含 12 个 transfomer encoder 层输出的列表list
    ### 每一层的输出大小是: [batch, seq_lenth, hiddern_size], 对于bert-base 是12， bert-large是24
    print("all_encoder_layer:\n ", type(all_encoder_layer), len(all_encoder_layer), all_encoder_layer[0].size())

\#\# pooled\_output: 最后一个 transfomer encoder ，且输入句子的第一个字\[CLS\]位置上的隐层输出  
\#\#\# 大小：\[batch, hidden\_size\]  
\#\#\# 这个输出就可以看做是输入句子的语义信息了  
print(“pooled\_output: \\n”, type(pooled\_output), len(pooled\_output), pooled\_output.size())

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
all\_encoder\_layer:  
<class ‘list’> 12 torch.Size(\[1, 18, 768\])  
pooled\_output:  
<class ‘torch.Tensor’> 1 torch.Size(\[1, 768\])

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16

1.  如果我们想要得到输入句子的 embedding 表示，那么我们只要 all\_encoder\_layer 的最后几层向量
2.  如果我们想要做分类，那么只要Pooled\_output 向量，因为它代表了整个**输入句子的语义信息**

## 考虑padding时,代码有什么变化？？ ##

### 为什么要padding呢，因为我们训练时候是用batch\_size样本的，但是每个样本即句子的长度都不一致，因此我们必须设置一个最大句子的长度，当其他句子小于此长度时就padding，大于此长度就截断 ###

# padding
    # 设置最长句子长度
    max_seq_lenth = 300

new\_text = “乌兹别克斯坦议会立法院主席获连任”  
tokenized\_text = bert\_vocab.tokenize(new\_text) \# list  
tokenized\_text = \["\[CLS\]"\] \+ tokenized\_text \+ \["\[SEP\]"\] \# list  
input\_ids = bert\_vocab.convert\_tokens\_to\_ids(tokenized\_text) \# list  
input\_mask = \[1\] \* len(input\_ids)

\# define padding, 填充的地方置为0，未填充的地方是 1  
padding = \[0\] \* (max\_seq\_lenth \- len(input\_ids))

input\_ids \+= padding \# 300  
input\_mask \+= padding

\# input\_ids 后面填充部分都要置0

\# 这里只有一个输入句子，因此可以不用segment\_ids,因为默认就有全0的segment\_ids

\#转化为 torch.LongTensor 形式  
input\_ids = torch.tensor(\[input\_ids\], dtype = torch.long) \#300  
input\_mask = torch.tensor(\[input\_mask\], dtype = torch.long) \# 300  
print("padding intput\_ids: ", input\_ids.size()) \# 300

\#\# bert\_model 的测试模式，不用梯度更新  
bert\_model.eval()  
with torch.no\_grad():  
all\_encoder\_layer, pooled\_output = bert\_model(input\_ids, attention\_mask= input\_mask)  
print("padding all\_encoder\_layers: ", all\_encoder\_layer\[0\].shape)  
print("padding pooled\_output : ", pooled\_output.size())

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32

![在这里插入图片描述][20201002003049954.png_pic_center]  
![在这里插入图片描述][20201001111710570.png_pic_center]

[https_blog.csdn.net_weixin_46425692_article_details_108890831_ops_request_misc_257B_2522request_255Fid_2522_253A_2522163175571916780274115633_2522_252C_2522scm_2522_253A_252220140713.130102334_2522_257D_request_id_163175571916780274115633_biz_id_0_utm_medium_distribute.pc_search_result.none-task-blog-2alltop_click_default-3-108890831.pc_search_result_control_group_utm_term_BERT_spm_1018.2226.3001.4187]: https://blog.csdn.net/weixin_46425692/article/details/108890831?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163175571916780274115633%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=163175571916780274115633&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-3-108890831.pc_search_result_control_group&utm_term=BERT&spm=1018.2226.3001.4187
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center]: /images/20220828/cd6a4d5ec659477780d3e64169cc6f81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20220828/aa12d402f2f54dd7b65b2ce74ac5fa7a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20220828/fc18a787c88744339977f275b230f52a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20220828/7e75d7ec4e2b42078f4c08455172d20a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20220828/757ba2f16381400ca9fcd3e1a5988b52.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20220828/2c5bdfbf73e5423a9ee0b4818bf6d2b7.png
[20201001234858500.png_pic_center]: /images/20220828/1628d8099754477ca1f82ae8ae125e72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20220828/0489ce31e49946ebae58798f7c512939.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20220828/dd67cddf45ff4c1ca02df56755515ceb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20220828/6c21e441b6674fc8b017e1b02349781f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20220828/17ad7e95ab4f486fb0a40f5163ba33ed.png
[20201002000517526.png_pic_center]: /images/20220828/dc9d31ca67ae44baaa901005d257e32c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20220828/62cbb71ab43c4a3880f16ee36073ed30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20220828/386e96790acb4e8abfc5f4791134e29f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20220828/713e8de60cbc49d1a5ac0fc745336fef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20220828/08c38c383cc54103b44210f5cf515c59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20220828/d906ad1ba9384e2baff1fabce2a2ad15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20220828/3e71a60da52c465287e31cc005bf71b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20220828/60b7cdc04fcd4c2c9d38786dacd6201b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20220828/62255301e53345118ca509c9d15022fc.png
[20201002001939653.png_pic_center]: /images/20220828/5600f9ba829e4f60aee5b5ec29f0ade9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyNTY5Mg_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20220828/5e6e65e2793f47beb484a96a915679cd.png
[20201002003049954.png_pic_center]: /images/20220828/767d4480e1334fb298f2c3fc8a9be370.png
[20201001111710570.png_pic_center]: /images/20220828/0b380e36bd7e4957b40d70328c31eb5e.png