Bert实战一之处理单条句子

ゝ一世哀愁。 2022-12-11 06:24 132阅读 0赞

LawsonAbs的认知与思考，望各位读者审慎阅读。

# 总结 #

*  文章来源：csdn：LawsonAbs
 *  本文分成两个部分，分别是 `tokenizer` 的使用；`BertModel` 模型(以 `bert-base-uncased`为例)的使用
 *  代码部分详细可见我[Github][]
 *  本系列属于 `Bert` 实战训练中的第一篇，系列文章持续更新。

--------------------

# 1 `Tokenizer` 详解 #

## 1.1 处理细节 ##

*  一句话会被分析的干干净净  
    这句话的意思是：甚至是该句中的符号，都会被单独割出来。如下所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]可以看到 `A ditch digger, was entrenched in his career.` 这句话被 `tokenizer()` 处理后的结果

## 1.2 处理结果 ##

需要把一句话交给 `Tokenzier`处理之后，才可以交给 `Bert`的model（如`BertModel`）处理。  
`tokenizer` 处理得到的结果 是一个 字典。该字典包含三项：

*  input\_ids
 *  token\_type\_ids
 *  attention\_mask

![在这里插入图片描述][20210116170904762.png]

## 1.2 tokenize()方法 ##

相反，如果只是单纯的想得到这个字，就可以使用：

from transformers import AutoModel,AutoTokenizer
    tokenizer = AutoTokenizer.from_pretrained('/home/lawson/pretrain/bert-base-uncased')
    print(tokenizer.tokenize("sdf"))

最后的运行结果就是：  
`['sd', '##f']`  
因为 bert使用的字典中，并没有 `sdf`这个单词，所以就将其分解成了这种形式。

## 1.3 得到返回的位置 ##

有时候我们想根据 输入的句子得到 某个词在句子中的位置，那么这个时候就可以使用 return\_offsets\_mapping 这个参数。需要注意的是，这个参数只有在继承类 `PreTrainedTokenizer` 的 Tokenizer 中才有。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

# 2 `BertModel` 详解 #

这里可以结合 `BertModel`的doc文档看看它最后的输出是什么：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]最后返回的结果是一个 `tuple` 【这个很重要，容易出错】

①② 是肯定会返回的参数，而③是可选的返回值。平常我们在使用的时候，①② 就已经够了。

*  `hidden_size` 指的就是单个token对应的最后向量的维度。

# 3.实例 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]

[Github]: https://github.com/LawsonAbs/learn/blob/master/bert/%E5%BE%97%E5%88%B0%E6%9F%90%E6%9D%A1%E5%8F%A5%E5%AD%90%E4%B8%AD%E7%9A%84embedding.ipynb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221123/6e341b5e3b274d25bec85f8f282ab85f.png
[20210116170904762.png]: /images/20221123/462cd98a92d64142aac8a265390b9d2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221123/cd62bc38664d46c5bc911cdaea3a497f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: /images/20221123/769532af88ae4af58e34905cc4533dc7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: /images/20221123/3aed3076344e4bb7ab7d970ca24c06fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201212205519152.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]: /images/20221123/988d20a955cd434b97c315f3af930f5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]: /images/20221123/507b7c8fff7841a59a72db3a837789ac.png