caffe：同步Batch Normalization(syncbn)作用

电玩女神 2022-03-18 05:58 156阅读 0赞

## 1、BN训练与测试过程 ##

BN层有4个参数，gamma、beta、moving mean、moving variance。其中gamma、beta为学习参数，moving mean、moving variance为数据集统计均值与方差，不可学习。在训练过程中：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2wyOTc5Njk1ODY_size_16_color_FFFFFF_t_70]  
y为BN层输出，此时归一化的均值与方差为当前mini-batch的均值与方差。同时也记录moving mean、moving variance的值，每训练一个batch，moving mean、moving variance就更新一次。注意此参数更新过程不是学习过程，而是纯粹的计算train-set在当前BN数据分布过程，因此不能将算作是学习过程。decay为一个接近于1的值，比如0.9997。

在测试过程中：

## ![在这里插入图片描述][20190219165527676.png]   2、prototxt示例 ##

layer {
       name: "conv3_3_3x3/bn"
       type: "SyncBN"
       bottom: "conv3_3_3x3"
       top: "conv3_3_3x3/bn"
       param {
         lr_mult: 1
         decay_mult: 0
       }
       param {
         lr_mult: 1
         decay_mult: 0
       }
       param {
         lr_mult: 0
         decay_mult: 0
       }
       param {
         lr_mult: 0
         decay_mult: 0
       }
       bn_param {
         slope_filler {
           type: "constant"
           value: 1
         }
         bias_filler {
           type: "constant"
           value: 0
         }
         frozen: false
         momentum: 0.9997
       }
     }

momentum为decay，slope\_filler与bias\_filler分别为gamma与beta的初始化参数。frozen为是否禁止更新参数标识，该示例为train.prototxt，因此为false，在测试过程中应改为true。

## 3、为什么要同步BN ##

目前网络的训练多为多卡训练，大型网络结构以及复杂任务会使得每张卡负责的batch-size小于等于1，若不进行同步BN，moving mean、moving variance参数会产生较大影响，造成BN层失效。具体参考《MegDet:A Large Mini-Batch Object Detector》

## 4、融合BN操作 ##

为简化inference过程，以及商业代码保密，通常进行BN融合操作。即把BN参数融合至conv层

## ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2wyOTc5Njk1ODY_size_16_color_FFFFFF_t_70 1]   参考： ##

[https://www.cnblogs.com/makefile/p/batch-norm.html?utm\_source=debugrun&utm\_medium=referral][https_www.cnblogs.com_makefile_p_batch-norm.html_utm_source_debugrun_utm_medium_referral]  
[https://blog.csdn.net/yjl9122/article/details/84729057][https_blog.csdn.net_yjl9122_article_details_84729057]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2wyOTc5Njk1ODY_size_16_color_FFFFFF_t_70]: /images/20220318/592d2f1adaeb4c4d9dc3553a4b60c341.png
[20190219165527676.png]: /images/20220318/30d3f1712e124c92b3a5bae8df7cbb0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2wyOTc5Njk1ODY_size_16_color_FFFFFF_t_70 1]: /images/20220318/0d5db51b71aa456a8184712c67673134.png
[https_www.cnblogs.com_makefile_p_batch-norm.html_utm_source_debugrun_utm_medium_referral]: https://www.cnblogs.com/makefile/p/batch-norm.html?utm_source=debugrun&utm_medium=referral
[https_blog.csdn.net_yjl9122_article_details_84729057]: https://blog.csdn.net/yjl9122/article/details/84729057