bert代码模型部分的解读

快来打我* 2022-09-08 03:42 254阅读 0赞

bert\_config.josn 模型中参数的配置

{ 
    "attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率 
    "hidden_act": "gelu", #激活函数 
    "hidden_dropout_prob": 0.1, #隐藏层dropout概率 
    "hidden_size": 768, #隐藏单元数 
    "initializer_range": 0.02, #初始化范围 
    "intermediate_size": 3072, #升维维度
    "max_position_embeddings": 512,#一个大于seq_length的参数，用于生成position_embedding "num_attention_heads": 12, #每个隐藏层中的attention head数 
    "num_hidden_layers": 12, #隐藏层数 
    "type_vocab_size": 2, #segment_ids类别 [0,1] 
    "vocab_size": 30522 #词典中词数
    }

[转自][Link 1]

vocab_size：词表大小
    hidden_size：隐藏层神经元数，可以理解为dmodel，即单个Transformer block第一层(输入层后面链接的层)和最后一层(输出层)的节点数，对应于论文中的H
    num_hidden_layers：Transformer 的层数，对应于论文中的L
    num_attention_heads：multi-head attention 的 head 数，对应于论文中的A
    intermediate_size：encoder 的“中间”隐层神经元数（例如 feed-forward layer），对应于论文中的4H。
    hidden_act：隐藏层激活函数
    hidden_dropout_prob：隐层 dropout 率
    attention_probs_dropout_prob：注意力部分的 dropout
    max_position_embeddings：最大位置编码
    type_vocab_size：token_type_ids 的词典大小
    initializer_range：truncated_normal_initializer 初始化方法的 stdev
    这里要注意一点，可能刚看的时候对type_vocab_size这个参数会有点不理解，其实就是在next sentence prediction任务里的Segment A和 Segment B。在下载的bert_config.json文件里也有说明，默认值应该为 2。

[转自][Link 2]

[Link 1]: https://blog.csdn.net/qqywm/article/details/85454531
[Link 2]: https://www.cnblogs.com/gczr/p/12382240.html