吴恩达机器学习笔记1-单变量线性回归

布满荆棘的人生 2021-12-16 02:09 344阅读 0赞

**一、关于回归方程的直观印象**

我们有一批关于'房屋面积'和'房子价格'的数据，如图1-1：

![1231679-20190610161147204-207894944.png][]

【图 1-1】

从图右边中可以很直观地看出，大致上，随着房屋面积的增加，房屋的售价也在提高，也就是它俩之间有'某种关系'。

而后，我们想，要是我有一套房子，面积是x平方，那应该标价多少钱才合适呢？

于是我们就在现有的数据中，找出面积与售价之间的关系，该关系以数学语言表达就是一条线性回归方程（h(x)=kx+b，y为价格，x为面积），面积为自变量，售价为因变量。

最后将我们手上这套房子的面积代入到方程中，就可以计算出应该标价多少钱。

![1231679-20190610161955814-1944538200.png][]

【图 1-2】

如图1-2右边橙色的线，便是我们通过计算得出的回归方程所绘制的线，再回代房子面积所得出的预测价格，它很'直'。

尽管线性回归方程不是百分之百符合现实数据，但是它使得一些看起来杂乱的数据更加可量化、计算以及利用，回归方程是一种'折中'。

**二、方程误差**

由图1-2右边可以看出，我们的预测价格与实际价格是有误差的，每处的误差为（预测价格-实际价格），所有误差加起来便是总误差，求总误差的方程便称为代价函数（或 损失函数、成本函数、loss function），以J(k,b)表示。

其中每处的误差为（预测价格-实际价格），用符号表示便是 h(xi) - yi  （h(x)为回归方程所计算的预测价格，xi，yi表示第i个数据）；

总误差便为∑（h(xi) - yi），但这样做有一个问题，误差有负有正，它们会相互抵消，因此我们为每处误差加上平方，即 ∑（h(xi) - yi）2，其中为了方便后续计算，我们将其写成J(k,b)=1/2m·∑（h(xi) - yi）2

当我们想用回归方程去预测房子价格时，当然希望误差最小，即求出代价函数的最小值。

**三、最小误差**

在数学中如何计算最小值？

答：求导->求驻点、断点、不可导点->通过比较

但是实际生活的数据中往往很复杂，可能找到驻点很困难、可能数据量大或没有边界（端点）......所以我们只能采取近似的方法去求的最小值。

求最小值的方法是，选择一个起点，一步一步地去探索最小值，最终收敛。

在代价函数J(k,b)中，xi ，yi  都是已知数据，唯有h(x)中的k，b未知，求最小值实质就是求'合适'的k，b，使得该代价函数最小。

求'合适'的k，b的公式，k0=0,b0=0为初始值：

![1231679-20190618164535029-1743449969.png][]

其中：a为学习率，即每次要迈多大的步子去探索，a值太大（容易扯着蛋）容易‘跨’过最小值；太小，则探索时间长。

**为什么要对k，b分别求偏导呢？**我们以二维的图像来阐明。设代价函数为J(θ)

![1231679-20190613161746173-1356684336.png][]

【图3-1】

图3-1中，图中红色切点便是初始值，求导所得的便是切线的斜率，由图可见该绿色切线斜率为正数。

于是 θ = θ - a\*一个正数，此时θ变小了点，红点往下移，更加靠近图像最低点（代价函数最小值）；

不断重复该过程，切线将趋于平缓，斜率趋于0，函数最小值便收敛了，此过程称之为梯度下降。

![1231679-20190613162650335-311082631.png][]

【图3-2】

**四、补充，关于导数的本质**

导数是什么？

导数是变化率，导数是切线斜率，导数是速度........

以一元函数而言，导数其实是： 当x变化一点点，y会变化了多少，这个“多少”便是导数。

转载于:https://www.cnblogs.com/Drajun/p/10998463.html

[1231679-20190610161147204-207894944.png]: /images/20211214/05ab42e3412a409286575a87bfc6db7b.png
[1231679-20190610161955814-1944538200.png]: /images/20211214/2d270219473347d7a5c507eb1552d043.png
[1231679-20190618164535029-1743449969.png]: /images/20211214/e0659fe119184ac6900e13a97727ad8d.png
[1231679-20190613161746173-1356684336.png]: /images/20211214/331a4507258540ccbf79750d2deb086a.png
[1231679-20190613162650335-311082631.png]: /images/20211214/bd41501396ef4eb0b49a437d7b6c8249.png