深度学习笔记(8.DNN优化算法)

短命女 2023-06-05 08:17 30阅读 0赞

### 前言 ###

DNN中引入mini\_batch方法，学习了gd、momentum、RMSprop和Adam优化算法。在原DNN实现（包括正则化）中，添加优化算法。  
程序地址：[https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes][https_github.com_ConstellationBJUT_Coursera-DL-Study-Notes]

### 公式 ###

公式和程序对比在前一篇文章中已经写到，公式和程序基本一样。  
[https://blog.csdn.net/bjjoy2009/article/details/101001991][https_blog.csdn.net_bjjoy2009_article_details_101001991]  
详情请查看github代码：  
(1)dnn\_v4.py : DNN网络的构建和训练  
(2)optimizer\_class.py : 不同优化算法参数初始化和梯度下降  
(3)dnn\_optimization.py : 实验程序  
下面代码是模型训练，添加了红色框（不同算法初始化参数），蓝色框（把数据集分块程序提出来），绿色框（不同算法update parameters）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]

### 运行结果 ###

和课件给的相同  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70 1]

### 结论 ###

为了和课件保持一致，调了好久。主要是各个代码块散落的np.random.seed()。由于dnn\_v4.py里边代码太长，自己调试时候翻着有点费劲，把优化算法相关的内容放到了optimizer\_class.py里边。

[https_github.com_ConstellationBJUT_Coursera-DL-Study-Notes]: https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes
[https_blog.csdn.net_bjjoy2009_article_details_101001991]: https://blog.csdn.net/bjjoy2009/article/details/101001991
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]: /images/20230601/909a62aa8b58490e9a3f3b22f177aaac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/cd06566972c2428783044e10adade532.png