Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记

╰半橙微兮° 2023-06-04 02:47 0阅读 0赞

# Spectral Norm Regularization for Improving the Generalizability of Deep Learning论文笔记 #

2018年12月03日 00:03:07 [RRZS][] 阅读数 153更多

分类专栏： [深度学习][Link 1] [cv][]

本文链接： [https://blog.csdn.net/beyondjv610/article/details/84722476][https_blog.csdn.net_beyondjv610_article_details_84722476]

这篇文章的贡献点在于提出了一种新的正则化方法，并证明了其相比于其他的正则化方法具有更好的效果（测试集误差更低以及训练误差和测试误差之间的gap更小），之后的gan网络很多都沿用了这个正则化的方法，也验证了该方法的有效性。

一、Spectral Norm Regularization

1.1谱范数的提出

首先，作者提出了衡量扰动的计算公式：

![2018120220354538.png][]

该公式衡量当x发生一定程度变化时，y变化的大小。根据上述公式我们定义了谱范数，对于一个矩阵A

![20181202203739249.png][]

根据数学推导可以得出，A的谱范数等于其最大的特征值【1】。我们希望Y函数尽可能的平滑就需要约束A的谱范数尽可能地小。

在神经网络中，上述A就是对应Y = WX+b中的W，其中这个W是指x到最终输出的映射，而不是某一层的W。所以，我们可以将其化为每一层的激活函数DL与对应的WL相乘得：

![20181202204111753.png][]

一方面，两个矩阵相乘的谱范数不大于两个矩阵对应的谱范数相乘；另一方面，如果我们使用常见的分段激活函数，比如relu，当x大于等于0时，DL取值为1，否则，DL取值为0，所以其对应的谱范数必然小于等于1，所以有如下的推导（当然如果我们使用sigmoid之类的函数，我们需要对不等式的右边乘上一个常数）：

![20181202204438580.png][]

所以，如果我们需要约束整个神经网咯的谱范数，只需要对每一层的谱范数进行约束即可。

1.2谱范数的计算：

前面部分我们提到了矩阵A的谱范数等于其最大的特征值，这里贴出其证明过程【1】：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 1][]

论文中使用的是（15），但是本文的证明用的是（13）和（14）。

下面给出迭代有效性的证明：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 3][]

因此，我们通过u，A，v就可以得到最大特征值，从而得到A的谱范数。

在Keras中，可以通过下述代码计算谱范数

1.   
    
    def spectral\_norm(w, r=5):
2.   
    
    w\_shape = K.int\_shape(w)
3.   
    
    in\_dim = np.prod(w\_shape\[ :-1\]).astype(int)
4.   
    
    out\_dim = w\_shape\[- 1\]
5.   
    
    w = K.reshape(w, (in\_dim, out\_dim))
6.   
    
    u = K.ones(( 1, in\_dim))
7.   
    
    for i in range(r):
8.   
    
    v = K.l2\_normalize(K.dot(u, w))
9.   
    
    u = K.l2\_normalize(K.dot(v, K.transpose(w)))
10.  
    
    return K.sum(K.dot(K.dot(u, w), K.transpose(v)))

二、各种正则化方法

1.Weight decay

![20181202173549842.png][]

![20181202173710966.png][]

作者认为这种训练方法对整个W矩阵进行约束，可以理解为对其所有方向的特征向量进行约束，会影响模型的表达能力，从而影响预测的结果，而作者的方法只是对最大的特征值进行约束，对于其他跟该特征向量垂直的特征向量则不会有影响，从而对模型表达能力的影响较小。

2.Adversarial training

![20181202174305908.png][]

其中圈圈是超参数，第一个代表对于对抗样本关注的程度，取值为（0,1），第二个表示控制对抗样本与真实样本在梯度方向上的距离，其值越大，对模型的泛化能力要求越高。从上述公式可以看出，该优化函数要求模型不仅仅在真实样本上的误差尽可能小，同时要求在对抗样本（真实样本加上损失函数在真实样本上的梯度得到对抗样本）上的误差尽可能小，从而可以让损失函数在真实样本点附近的曲线尽可能平滑，减少误差。作者认为其只关注训练样本点附近的损失函数尽可能平滑，而无法考虑到测试样本附近损失函数尽可能平滑。

3.Jacobian regularization

![20181202203101342.png][]

约束y对x的梯度，由于计算的复杂度过高，可以简化为每一层输出对该层输入梯度的惩罚：

![20181202203229252.png][]

这种方法本质上和第一种方法一样，如果我们忽略激活函数影响的话。

三、实验结果分析

3.1评价指标

（1）测试集上面的预测准确率

（2）训练集和测试集之间的Generalization Gap，作者做了如下的定义。

对于某个参数a，其对应的Generalization Gap在所有测试集的准确率高于a的情况中，选择训练集和测试集之间的最小的差值作为Generalization Gap。具体可以在模型训练过程中，不断地保存训练集的准确率和测试集的预测准确率，然后选取测试集的结果大于a的checkpoint去计算训练和测试误差的gap，并选取最小值。

3.2结果分析

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 4][]

从上图可以看出，decay 和spectral无论在测试误差都优于其他两种方法，同时spectral在batch变大的情况下，其精度损失比其他的三种方法小。对于generalization gap，spectral仍然取得最好的效果。

3.3

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 5][]

从图2a可以看出，gap与训练数据的L2梯度的norm成反比，说明我们约束训练时候的L2norm是没有意义的，而从图2b可以看出，gap与测试数据的L2梯度的norm成正比，所以我们降低测试时候的L2norm可以降低gap。但是，我们无法得知测试集的数据，自然无法得知他的L2norm，而我们spectral norm则约束任意点的L2norm，则可以很好解决这个问题。

下面，我们回归到我们模型的本质，即为了使模型在测试集上误差尽可能的小，这个可以转化为两个问题：（1）在训练集上面误差尽可能小；（2）训练误差和测试误差之间的gap尽可能小。我们的spectral norm刚好可以很好的解决这个问题。不像decay的方法对整个W进行约束，从而约束了模型的表达能力，从而导致训练误差的增加。同时，spectral norm的引入可以降低gap，从而使得测试的效果相比其他的方法更好。

3.3

3.4W矩阵的奇异值

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 6][]

从图4可以看出，spectral norm的奇异值会低于其他的方法，而低的奇异值也对应于小的gap，从而从侧面验证了spectral norm可以降低gap。

相关知识：

N. S. Keskar, D. Mudigere, J. Nocedal, M. Smelyanskiy, and P. T. P. Tang. On large-batch training for  
deep learning - generalization gap and sharp minima. In ICLR, 2017.

参考文献：

【1】苏剑林. (2018, Oct 07). 《深度学习中的Lipschitz约束：泛化与生成模型 》\[Blog post\]. Retrieved from [https://kexue.fm/archives/6051][https_kexue.fm_archives_6051]

疑惑：

为什么大的batch size会导致泛化能力下降。参见相关知识。

转载于:https://www.cnblogs.com/think90/p/11460902.html

[RRZS]: https://me.csdn.net/beyondjv610
[Link 1]: https://blog.csdn.net/beyondjv610/article/category/7448601
[cv]: https://blog.csdn.net/beyondjv610/article/category/7773385
[CC 4.0 BY-SA]: http://creativecommons.org/licenses/by-sa/4.0/
[https_blog.csdn.net_beyondjv610_article_details_84722476]: https://blog.csdn.net/beyondjv610/article/details/84722476
[2018120220354538.png]: /images/20230601/377c683b80e5427aaf567762cdc60766.png
[20181202203739249.png]: /images/20230601/2a90be9ea3f34ceebd71466b2a6913ae.png
[20181202204111753.png]: /images/20230601/d34e22a6c9a149518ac9232acb600d99.png
[20181202204438580.png]: /images/20230601/d5407653167c4312bffd8fc222cbf13e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70]: /images/20230601/bef6ad09287b48059395cfe96df1dddf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 1]: /images/20230601/ea4b88631a854c959c4fd9f218b81340.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 2]: /images/20230601/a919f1366289438a99667da7d979b029.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 3]: /images/20230601/70a73d30ea6a4bd48a417cece7960c50.png
[20181202173549842.png]: /images/20230601/e3b1a00396ce4123b7b00ca7ea4c3f53.png
[20181202173710966.png]: /images/20230601/0e41fd7d0e534d59976cf4b7b20c8d3e.png
[20181202174305908.png]: /images/20230601/b8bd67a5ee884b8ebf513cf0c83be0b7.png
[20181202203101342.png]: /images/20230601/3b226a2843c64e768612306c9d45cee6.png
[20181202203229252.png]: /images/20230601/7434c6d772b64ce0b8c19de07fbba30d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 4]: /images/20230601/c47e190a60e0495d8edb1660f6a9f951.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 5]: /images/20230601/05b3e19470b44d1895d82c8cb15f4019.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JleW9uZGp2NjEw_size_16_color_FFFFFF_t_70 6]: /images/20230601/46226aeae6e542ceb2fa86c12c24a223.png
[https_kexue.fm_archives_6051]: https://kexue.fm/archives/6051