深度学习：正则化

亦凉 2022-06-12 06:58 192阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/75307522][blog.csdn.net_pipisorry_article_details_75307522]

机器学习模型过拟合可采用的方法参考\[[Machine Learning - X. Advice for Applying Machine Learning机器学习算法的诊断和改进][Machine Learning - X. Advice for Applying Machine Learning]\]

过拟合的原因：

过拟合一般是因为数据少而模型复杂；还有就是共线性（多变量线性回归中，变量之间由于存在高度相关关系而使回归估计不准确。共线性会造成冗余，导致过拟合。）

为了防止过拟合，提高模型泛化能力，减少测试误差，深度学习模型（如神经网络）一般采用正则化策略。采用的方法有范数惩罚（如l2正则）、排除变量的相关性／加入权重正则（共线性解决）、数据集增强、提前终止、参数绑定和共享、ensembling models集成、dropout、对抗训练、batch normalization\[[深度学习：批归一化Batch Normalization][Batch Normalization]\]等等。

\[[机器学习系统设计(Week 6)系统评估标准][Week 6]\]

# L1和L2范数正则化 #

![20171215173543168][]

[blog.csdn.net_pipisorry_article_details_75307522]: http://blog.csdn.net/pipisorry/article/details/75307522
[Machine Learning - X. Advice for Applying Machine Learning]: http://blog.csdn.net/pipisorry/article/details/44245347
[Batch Normalization]: https://youzipi.blog.csdn.net/article/details/95906888
[Week 6]: https://blog.csdn.net/pipisorry/article/details/44245513
[20171215173543168]: /images/20220612/cfdba9a04f2e4ab9a638e2d4dc7214de.png

发表评论取消回复

表情：

评论列表（有 0 条评论，192人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习正则化

目录 1 L1与L2正则化 2 Dropout正则化 3 提前停止 4 批标准化 5 总结 --------------------

爱被打了一巴掌/ 2024年03月31日 14:54/ 0 赞/ 86 阅读

相关深度神经网络初始化、正则化、梯度校验

初始化深度神经网络模型中，以单个神经元为例，该层（![l][]）的输入个数为n，其输出为： ![z=w\_1x\_1+w\_2x\_2+\\cdots+w\_nx\_

叁歲伎倆/ 2023年06月02日 07:48/ 0 赞/ 12 阅读

相关深度学习笔记(5.numpy实现DNN正则化)

前言深度学习课程第二部分：改善神经网络：超参数调试、正则化以及优化，第一周深度学习的使用层面。实现2种正则化方法（L2和dropout），实现课程中讲到的权重初始化方法

痛定思痛。/ 2023年06月01日 12:44/ 0 赞/ 15 阅读

相关正则化

正则化什么是正则化正则化类别什么是正则化不知道建立模型的时候建立到多复杂才合适怎么办？那么我们先做到模型足够复杂！足够的复杂之后，会有一个

雨点打透心脏的1/2处/ 2022年12月29日 12:57/ 0 赞/ 201 阅读

相关深度学习 | 正则化实践练习

本文是吴恩达《深度学习》L2W1的编程作业2。本文是跟着参考资料的步骤过了一遍作业，做到加深理解的目的，其中所有需要下载的资料都在第二条参考资料里面。我的实验环境是天池

Bertha 。/ 2022年12月22日 00:56/ 0 赞/ 166 阅读

相关机器学习中的正则化

在机器学习的过程中我们会经常看到“正则化”这个词，比如我们看一些书籍、一些视频或者老师们讲课说的：给损失函数加一个正则化项，相当于给它一个惩罚...”等等，就给人一种很

灰太狼/ 2022年12月15日 14:06/ 0 赞/ 196 阅读

相关机器学习--正则化(Regularization)

参考文章：[机器学习--正则化(Regularization)][--_Regularization] 过拟合问题：下图是一个回归问题 ![房价预测][20181031

我会带着你远行/ 2022年10月28日 03:57/ 0 赞/ 221 阅读

相关深度学习笔记（九）：正则化问题总结

文章目录一、正则化的作用二、如何判断过拟合 or 欠拟合三、常见正则化方法（1）L0正则化

青旅半醒/ 2022年08月29日 12:56/ 0 赞/ 271 阅读

相关机器学习之正则化（Regularization）

转载自：[http://www.cnblogs.com/jianxinzhou/p/4083921.html][http_www.cnblogs.com_jianxinzhou

谁借莪１个温暖的怀抱￠/ 2022年06月17日 07:29/ 0 赞/ 215 阅读

相关深度学习：正则化

http://[blog.csdn.net/pipisorry/article/details/75307522][blog.csdn.net_pipisorry_articl

亦凉/ 2022年06月12日 06:58/ 0 赞/ 193 阅读