BN层的作用

男娘i 2022-12-02 04:17 205阅读 0赞

原文链接：[https://zhuanlan.zhihu.com/p/75603087][https_zhuanlan.zhihu.com_p_75603087]

BN层的作用主要有三个：

![v2-0b0f8a8ffd52e44bbc0330f32e1f5907_b.jpg][] ![v2-0b0f8a8ffd52e44bbc0330f32e1f5907_r.jpg][]

1.  加快网络的训练和收敛的速度
2.  控制梯度爆炸防止梯度消失
3.  防止过拟合

*  分析：
 *  （1）加快收敛速度：在深度神经网络中中，如果每层的数据分布都不一样的话，将会导致网络非常难收敛和训练，而如果把 每层的数据都在转换在均值为零，方差为1 的状态下，这样每层数据的分布都是一样的训练会比较容易收敛。
 *  （2）防止梯度爆炸和梯度消失：

![v2-268295f5f0ece3fd338ccd787c14e373_b.jpg][] ![v2-268295f5f0ece3fd338ccd787c14e373_720w.jpg][]

以sigmoid函数为例，sigmoid函数使得输出在\[0,1\]之间，实际上当x道了一定的大小，经过sigmoid函数后输出范围就会变得很小

![v2-7dfc599156734692d460fcff842052e7_b.jpg][] ![v2-7dfc599156734692d460fcff842052e7_720w.jpg][]

梯度消失：在深度神经网络中，如果网络的激活输出很大，其对应的梯度就会很小，导致网络的学习速率就会很慢，假设网络中每层的学习梯度都小于最大值0.25，网络中有n层，因为链式求导的原因，第一层的梯度将会小于0.25的n次方，所以学习速率相对来说会变的很慢，而对于网络的最后一层只需要对自身求导一次，梯度就大，学习速率就会比较快，这就会造成在一个很深的网络中，浅层基本不学习，权值变化小，而后面几层网络一直学习，后面的网络基本可以表征整个网络，这样失去了深度的意义。（使用BN层归一化后，网络的输出就不会很大，梯度就不会很小）

梯度爆炸：第一层偏移量的梯度=激活层斜率1x权值1x激活层斜率2x…激活层斜率(n-1)x权值(n-1)x激活层斜率n，假如激活层斜率均为最大值0.25，所有层的权值为100，这样梯度就会指数增加。（使用bn层后权值的更新也不会很大）

BN算法防止过拟合：在网络的训练中，BN的使用使得一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样就会使得整个网络不会朝这一个方向使劲学习。一定程度上避免了过拟合。

**Q: 为什么BN层一般用在线性层和卷积层后面，而不是放在非线性单元后**

因为非线性单元的输出分布形状会在训练过程中变化，归一化无法消除他的方差偏移，相反的，全连接和卷积层的输出一般是一个对称,非稀疏的一个分布，更加类似高斯分布，对他们进行归一化会产生更加稳定的分布。其实想想也是的，像relu这样的激活函数，如果你输入的数据是一个高斯分布，经过他变换出来的数据能是一个什么形状？小于0的被抑制了，也就是分布小于0的部分直接变成0了，这样不是很高斯了

[https://blog.csdn.net/huangfei711/article/details/79865054blog.csdn.net][https_blog.csdn.net_huangfei711_article_details_79865054_blog.csdn.net]

[https_zhuanlan.zhihu.com_p_75603087]: https://zhuanlan.zhihu.com/p/75603087
[v2-0b0f8a8ffd52e44bbc0330f32e1f5907_b.jpg]: https://pic2.zhimg.com/v2-0b0f8a8ffd52e44bbc0330f32e1f5907_b.jpg
[v2-0b0f8a8ffd52e44bbc0330f32e1f5907_r.jpg]: /images/20221123/8d338ddfeb4f4c4e838e1193ad0e2089.png
[v2-268295f5f0ece3fd338ccd787c14e373_b.jpg]: https://pic2.zhimg.com/v2-268295f5f0ece3fd338ccd787c14e373_b.jpg
[v2-268295f5f0ece3fd338ccd787c14e373_720w.jpg]: /images/20221123/356177b8699a45c58f6b002a81cfd7ac.png
[v2-7dfc599156734692d460fcff842052e7_b.jpg]: https://pic4.zhimg.com/v2-7dfc599156734692d460fcff842052e7_b.jpg
[v2-7dfc599156734692d460fcff842052e7_720w.jpg]: /images/20221123/444c8013c78d4623a9ff195d9b2f3a6b.png
[https_blog.csdn.net_huangfei711_article_details_79865054_blog.csdn.net]: https://link.zhihu.com/?target=https%3A//blog.csdn.net/huangfei711/article/details/79865054