2020-11-10 调优记录

怼烎@ 2022-12-20 02:50 182阅读 0赞

2分类任务， Epoch 设置为300 峰值精度可达93.1%

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70][]

模型拟合的比较困难，整个模型的精度也未上升到最高的位置，280个epoch以后，精度出现了下降，loss略有回升的趋势。

对模型做了3分类，验证，精度只有86%。

对模型训练过程的超参进行优化：

首先，

lr设置为0.001,手动设置每100epoch将0.1倍，结果，在10个epoch里面，损失在不断上升。如下。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 1][]

之后，

修改训练策略，使用RMSprop优化器， 加入data argument , 设定自适应学习率阈值，对模型重新训练。

三分类结果如下;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 2][]

设置370个epoch,最高精度到达97.11%，提升效果显著。

二分类结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 3][]

模型优化参数设置不变，Epoch设置为500,二分类最高精度可到99.2%。比之前93.1%的二分类精度提升了不少。

模型结构和参数进行优化。

对论文中Resnet50进行了复现，又在FC层之间加入了Dropout(0.3)来对抗过拟合。

可以看出，过拟合确实没有发生，精度变化平稳 ,loss变化平稳

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70]: /images/20221120/763ca3f4621d4ee8b2a2384ffdbaf917.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 1]: /images/20221120/3657e925df1341d5aab03b90dddb904c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201111093027261.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201111093506184.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xhYmlvZA==,size_16,color_FFFFFF,t_70