【学习笔记】梯度下降算法

你的名字 2021-12-11 18:43 840阅读 0赞

# 梯度下降算法 #

刚刚开始接触机器学习。线性回归可定义到给出一堆数据，预测一条直线。根据这条直线来预测未来的趋势。  
根据线性回归，可知有直接计算的方法计算theta，也可通过迭代的梯度下降算法计算theta。  
学习率不能很大，也不能很小。太大会出现越过`最优点`的情况，太小又会出现迭代次数过多的情况。  
即使学习速率α保持不变，梯度下降法也可以保持在局部最低点。  
当然也有一些更好（更难）的算法，可以自动选择学习率α。

## 梯度下降法 ##

![梯度下降的公式][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70]

## 线性回归模型 ##

预测函数也就是h(x)，是一条直线。也可写作theta的转置 \* X。  
代价函数在第二行显示。表示的是，预测函数与实际值之间的差距。  
做平方处理能更清晰的看到结果，分母是2m是为了方便求导后的运算，2的出现对结果基本无影响。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70 1]  
把梯度下降法，应用到最小化平方差代价函数。迭代10000次，查看效果。  
![迭代][20190709163405942.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70]: /images/20211211/d17aaa94888443529218365278a08c3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpX2ppYW95YW5n_size_16_color_FFFFFF_t_70 1]: /images/20211211/aa6cd295e0df4998a0495c9bdc4eff5e.png
[20190709163405942.png]: /images/20211211/75243308b49d4307845fc46a09dfb6e5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，840人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习梯度下降算法

目录 1 详解梯度下降算法 1.1梯度下降的相关概念复习 1.2 梯度下降法的推导流程 2 梯度下降法大家族 2.1 全

痛定思痛。/ 2024年04月06日 12:52/ 0 赞/ 83 阅读

相关梯度下降算法详解

梯度下降算法详解介绍如果说在机器学习领域有哪个优化算法最广为认知，用途最广，非梯度下降算法莫属。梯度下降算法是一种非常经典的求极小

一时失言乱红尘/ 2023年07月17日 05:59/ 0 赞/ 27 阅读

相关【Pytorch】梯度下降算法

梯度下降算法 1. 梯度 2. 梯度下降与梯度上升 3. 梯度下降法算法详解 3.1 梯度下降算法的具象解释 3.2 需了解的

￡神魔★判官ぃ/ 2022年10月31日 12:14/ 0 赞/ 256 阅读

相关机器学习之梯度下降算法

机器学习之梯度下降算法算法背景：以房价问题为由：房价变化可能有多种因素比如说房屋面积，房屋位置，房间数量等：我们假设一个向量x表示输入特征：

ゞ浴缸里的玫瑰/ 2022年06月17日 02:58/ 0 赞/ 288 阅读

相关机器学习算法------梯度下降法

优秀的讲解博客 [刘建平的博客][Link 1] 算法简述梯度下降通常是通过迭代的方式来搜索某个函数的极大/小值，他对目标函数每个变量求偏导得出梯度，也就是沿着

╰半橙微兮°/ 2022年05月25日 12:41/ 0 赞/ 419 阅读

相关梯度下降，随机梯度下降

[梯度下降（Gradient Descent）完整篇][Gradient Descent]转载在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient

墨蓝/ 2022年05月19日 23:47/ 0 赞/ 352 阅读

相关梯度下降算法

概述梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进

男娘i/ 2022年04月05日 03:12/ 0 赞/ 392 阅读

相关机器学习 | 算法模型 —— 梯度下降算法

目录 1.概述 2.梯度 3.梯度下降算法的数学解释 4.梯度下降算法实例 4.1 单变量函数的梯度下降 4.2 多变量函数的梯度下降 5.梯度下降算法的实现

短命女/ 2022年04月03日 16:58/ 0 赞/ 375 阅读

相关梯度下降算法

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

矫情吗；*/ 2022年01月27日 12:04/ 0 赞/ 466 阅读

相关【学习笔记】梯度下降算法

梯度下降算法刚刚开始接触机器学习。线性回归可定义到给出一堆数据，预测一条直线。根据这条直线来预测未来的趋势。根据线性回归，可知有直接计算的方法计算theta，也可

你的名字/ 2021年12月11日 18:43/ 0 赞/ 841 阅读