二、AI教程学习笔记 | 调试神经网络（一）

心已赠人 2023-05-30 13:00 189阅读 0赞

#  #

# 1、[调参][Link 1] #

## 提高速度 ##

**一般在小数据集上合适的参数，在大数据集上效果也不会太差。**因此可以尝试对数据进行精简，以提高速度，在有限的时间内可以尝试更多参数。

*  对**训练数据进行采样**。例如原来100W条数据，先采样成1W，进行实验看看。
 *  **减少训练类别**。例如手写数字识别任务，原来是10个类别，那么我们可以先在2个类别上训练，看看结果如何。

## 超参数范围 ##

建议**优先在对数尺度上进行超参数搜索。**比较**典型的是学习率和正则化项，**我们可以从诸如 0.001 0.01 0.1 1 10，以10为阶数进行尝试。**因为他们对训练的影响是相乘的效果。**不过**有些参数，还是建议在原始尺度上进行搜索，**例如dropout值: 0.3 0.5 0.7)。

## 经验参数 ##

这里给出一些参数的经验值，避免大家调参的时候，毫无头绪。

*  **learning rate: 1 0.1 0.01 0.001,** 一般从1开始尝试。很少见learning rate大于10的。学习率一般要随着训练进行衰减。衰减系数一般是0.5。 衰减时机，可以是验证集准确率不再上升时，或固定训练多少个周期以后。
 *  不过更建议使用自适应梯度的办法，例如 adam,adadelta,rmsprop 等，**这些一般使用相关论文提供的默认值即可**，可以避免再费劲调节学习率。对RNN来说，有个经验，如果RNN要处理的序列比较长，或者RNN层数比较多，那么learning rate一般小一些比较好，否则有可能出现结果不收敛，甚至Nan等问题。
 *  网络层数： 先从1层开始。
 *  每层结点数： 16 32 128，超过1000的情况比较少见。超过1W的从来没有见过。
 *  batch size: 128上下开始。**batch size值增加，的确能提高训练速度。但是有可能收敛结果变差。**如果**显存大小允许，可以考虑从一个比较大的值开始尝试**。因为batch size太大，一般不会对结果有太大的影响，而**batch size太小的话，结果有可能很差。**
 *  clip c(梯度裁剪): 限制最大梯度,其实是value = sqrt(w1^2+w2^2….),如果value超过了阈值，就算一个衰减系系数,让value的值等于阈值: 5,10,15
 *  dropout： 0.5
 *  L2正则：1.0，超过10的很少见。
 *  词向量embedding大小：128，256
 *  正负样本比例： 这个是非常忽视，但是在很多分类问题上，又非常重要的参数。很多人往往习惯使用训练数据中默认的正负类别比例，当**训练数据非常不平衡的时候，模型很有可能会偏向数目较大的类别**，从而影响最终训练结果。除了尝试训练数据默认的正负类别比例之外，**建议对数目较小的样本做过采样，例如进行复制。**提高他们的比例，看看效果如何，这个对多分类问题同样适用。在使用mini-batch方法进行训练的时候，**尽量让一个batch内，各类别的比例平衡**，这个在图像识别等多分类任务上非常重要。

# 2、[为调参选择采样标尺][Link 2] #

# 3、[调参技巧的通用性和超参数的过时性][Link 3] #

# 4、[调参模式][Link 4] #

# 5、[归一化隐藏层][Link 5] #

# 6、[softmax][] #

### Softmox回归模型 ###

*  假设输入图片的大小为2∗2

*  2∗2，即包含4个像素，每个像素是一个特征；
 *  假设需要判断图片中是哪种类型的瓜，以y1=1
 *  y1=1代表西瓜，y2=2y2=2代表哈密瓜，y3=3on表示模型的输出)：
    
     *  y3=3代表木瓜；

Softmax和线性回归一样，均对输入特征做**线性叠加**。与线性回归不同的是，**Softmax输出值的个数等同于样本中的类别数，所以我们得到(on**表示模型的输出)：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1][]

# 7、[如何选择深度学习框架][Link 6] #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3][]

[Link 1]: http://captainbed.top/2-3-1/
[Link 2]: http://captainbed.top/2-3-2/
[Link 3]: http://captainbed.top/2-3-3/
[Link 4]: http://captainbed.top/2-3-4/
[Link 5]: http://captainbed.top/2-3-5/
[softmax]: http://captainbed.top/2-3-8/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191110171357927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191110171417484.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ=,size_16,color_FFFFFF,t_70
[Link 6]: http://captainbed.top/2-3-10/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191110171921610.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191110171941875.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ=,size_16,color_FFFFFF,t_70