深度学习笔记（基础篇）——（八）搭建、训练深度网络的实现细节与技巧（未写完）

女爷i 2022-03-28 02:14 220阅读 0赞

深度神经网络在这里特指CNN这种计算模型，它通过多层的处理，可以学习到数据在不同层级上的抽象表征。该部分主要介绍搭建、训练深度网络的实现细节与技巧。包括以下四部分：

*  介绍深度学习中必要的数据扩充和数据预处理
 *  网络参数初始化的细节技巧
 *  如何设计网络结构并进行微调
 *  使用正则化防止过拟合的发生

# 一、数据扩增 #

因为深度网络需要在大规模的训练图像上来满足性能，所以当原始图像中的训练数据集规模不够多时，较好的办法是通过扩增数据来提升模型性能。常见的数据扩增方法有：

1.  水平翻转图像
2.  随机剪裁
3.  颜色抖动
4.  将这几种处理过程任意组合，如旋转并对其缩放等

完成数据扩增后，会得到大量由原始图像和其随机剪裁构成的训练样本集，但此时还需要对这些图像做预处理。最基本的预处理方法也就是下面即将提到的白化处理。

此外，**样本不均衡也需要注意。**若基于类别不均衡数据训练深度卷积网络，会导致严重的性能问题。解决办法：

1.  最简单的解决办法是使用上采样或者下采样平衡数据类别。
2.  基于特殊的图像剪裁，将原本类别较少的图片通过剪裁得到新图像的方法，解决类别不平衡
3.  使用参数微调（Fine-Tuning）策略，将原始数据划分成**包含大量类别的训练样本图像或剪裁**和有限类别的样本图像两部分，针对每部分分别训练，首先在大量类别训练图像上进行参数微调，之后再基于第二部分（样本图像较少的类别数据）上进行微调。这样会减轻类别不均衡的问题。

# 二、数据白化处理 #

白化（Whitening）也被称为漂白或者球化（Sphering）。白化的作用主要有两个方面：

*  （1）减少特征之间的相关性
 *  （2）特征具有相同的方差（协方差阵为1）

一般情况下，所获得的数据具有相关性，所以通常都要求对数据进行初步的白化或者球化处理，从而简化了后续独立分量的提取过程。通常对数据进行了白化处理后，算法的收敛性要比不做白化处理的要好。

对于一个混合矩阵A的大小如果为n\*n，白化后新的混合矩阵为![\\bar\{A\}][bar_A]。由于![\\bar\{A\}][bar_A]是一个正交矩阵，其自由度降为n\*(n-1)/2，白化使得ICA（独立成分分析）问题的工作量几乎减少了一半。

## 2.1 去除相关性的过程 ##

因为在PCA（主成分分析）中找到的**各个维度的基**本来就是**正交**的。因此，要去除样本维度之间的相关性就是去除PCA的相关性。

**PCA白化：**对数据进行PCA后其实就是去掉了数据特征之间的相关性，那么只需要**对映射后的数据进行方差归一化**就实现了白化的效果。因此**各个维度除以对应的特征值的平方根就达到了这样的效果**。公式为：

![x\_\{PCAwhite,i\}=\\frac\{x\_\{rot,i\}\}\{\\sqrt\{\\lambda \_\{i\}\}\}][x_PCAwhite_i_frac_x_rot_i_sqrt_lambda _i]

其中![x\_\{rot,i\}][x_rot_i]表示在PCA中的第i个基，也就是第i个维度上面映射的数据，![\\lambda \_\{i\}][lambda _i]对应这个特征向量的特征值。如图3.37所示，相比于没有白化处理的数据，白化处理后的数据聚集于原点的周围，并且数据在空间的分布比较均匀

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70][]

由于数据的协方差矩阵变为单位矩阵的方式并不唯一，因此，拓展出来的另一个白化处理方式，叫做ZCA白化。这种白化的方式更加接近生物视网膜的图像数据处理，做法就是在PCA白化的基础上再左乘特征向量，且PCA中不进行降维处理，则有  ![x\_\{ZCAwhite\} = Ux\_\{PCAwhite\}][x_ZCAwhite_ _ Ux_PCAwhite]。

# 三、参数初始化 #

准备好数据后，就要进行网络的训练了，但在训练前还需要对网络的一些参数进行初始化，初始化的方式主要有全零初始化及小随机数初始化。

## 3.1 全零初始化 ##

理想情况下，对于规范化后的数据来说，假设（初始化）权重参数正负大约各占一半也是合理的。此外，一种听起来似乎合理的想法是设定所有权重的初始值都为0，这也许是一种人为猜测的较好的期望权重初始值。实际上，这是一个错误的想法，因为这会导致网络中每个神经元的输出结果一样，即经过完全相同的参数更新，得到的方向传播计算的梯度也相同。换言之，若初始权值相同，神经元就不具有非对称性（Asymmetry）

## 3.2 小随机数初始化 ##

小随机数初始化是一种接近0但不为0的权重初始化方法。做法是初始化权值为接近于0的随机小数，因为很接近0但不相等，于是破坏了权重当中的对称性，这也被称为“对称破缺”（Symmetry Breaking）。实际做法是用一个趋近于0的数乘以一个标准的正态分布。例如：weights~0.001\*N(0,1)。这样，其实也可以使用服从均匀分布的随机小数，但二者在实际的性能表现上只有很微弱的差别。

[bar_A]: https://private.codecogs.com/gif.latex?%5Cbar%7BA%7D
[x_PCAwhite_i_frac_x_rot_i_sqrt_lambda _i]: https://private.codecogs.com/gif.latex?x_%7BPCAwhite%2Ci%7D%3D%5Cfrac%7Bx_%7Brot%2Ci%7D%7D%7B%5Csqrt%7B%5Clambda%20_%7Bi%7D%7D%7D
[x_rot_i]: https://private.codecogs.com/gif.latex?x_%7Brot%2Ci%7D
[lambda _i]: https://private.codecogs.com/gif.latex?%5Clambda%20_%7Bi%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NzY0MTI5_size_16_color_FFFFFF_t_70]: /images/20220328/6b9f81d95f3449dcad76b50c1543639f.png
[x_ZCAwhite_ _ Ux_PCAwhite]: https://private.codecogs.com/gif.latex?x_%7BZCAwhite%7D%20%3D%20Ux_%7BPCAwhite%7D