Bert实战二之attention score

川长思鸟来 2022-12-28 11:22 190阅读 0赞

LawsonAbs的认知与思考，还请各位读者批判阅读。

# 总结 #

*  文章来源：csdn：LawsonAbs
 *  详细代码可以在[我的GitHub][GitHub]中查看。

--------------------

# 1.问题 #

怎么得到一条句子中各个单词相互间的 `attention`？ 也就是简单的复现下面这张图（把`It is in this spirit that a majority of American ....`替换成`I used to be a CEO`）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]  
给出了需求，下面我们来玩玩儿~

# 1.代码 #

首先保证已经会[这篇博客][Link 1]中的内容了

查看`BertModel` 中的attention 返回参数，所以我们只需要在执行 `forward` 方法时，就只需要传入一个`attentions`就可以了。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]  
这其中的 `num_heads` 指的即是multi-head Attention 中的head数。见下面 `BertConfig` 中的参数`num_attention_heads`。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]

# 2.代码 #

根据上面的知识，就可以得到下面的代码（因为代码较长，这里不展示，可以去上面我给出的链接中找到）。主要的就是使用output\_attentions 这个参数。

''' step1.生成tokens并用 bert处理'''
    def process(text,toknizer,bert):
        inputs = tokenizer(text,return_tensors='pt')
        #print(inputs)
        output = bert(**inputs,output_attentions=True) # 因为需要输出attention score 的值，所以这里用了 output_attentions 参数
        return output

# 3.效果 #

说实话，我觉得效果并不好。因为不同的head负责不同的attention效果，这里贴出1 ~ 12 个head 的attention 结果：

*  head = 1  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]
 *  head =2  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]
 *  head =3  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]

…

*  head = 9  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]  
    …

观察图像，好像只有在head=9的时候，这个输出才是比较像传统的给出的那个结果。而其它的图像给出的结果都是：任何一个单词和标点符号、SEP的attention 度最高。

[GitHub]: https://github.com/LawsonAbs/learn/blob/master/bert/%E4%BD%BF%E7%94%A8bert%E5%BE%97%E5%88%B0attention.ipynb
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221120/87dbeb254ffd46979eacc510259fc52a.png
[Link 1]: https://lawson-t.blog.csdn.net/article/details/108857848
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221120/0f42a5abe9104d438fe0a8a734aae406.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: /images/20221120/0d41f19753244e66b915f99c62c7b39c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 3]: /images/20221120/43decc4015c84e1d99d6cb4a383af3d0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 4]: /images/20221120/812f3a73f16a41f8895725dd49c8f512.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 5]: /images/20221120/0dabf53f5fee4eef8bb865f89b57f682.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 6]: /images/20221120/3997f0cf8f204a969ea32054406fc3f5.png