机器学习之梯度下降算法

ゞ浴缸里的玫瑰 2022-06-17 02:58 287阅读 0赞

机器学习之梯度下降算法

**算法背景：**

以房价问题为由：

房价变化可能有多种因素比如说房屋面积，房屋位置，房间数量等：

我们假设一个向量x表示输入特征：x = \[x0,x1.x2.......,xn\],其中n为影响房价因素的数量

估计函数：

![Center][]

![Image 1][]

其中Θ为特征参数或者学习参数，该参数决定了特征变量Xi对估计的影响，用向量形式表示为：

![Center 1][]

![Image 1][]

为了使得估计值与实际的值差别最小：

![Image 1][]![Image 1][]，

我们建立一个函数去衡量输出模型的拟合效果，一般称为损失函数（loss functon）或者（cost function）:

![Center 2][]

![Image 1][]

函数选择了最小二乘法的原理，我们要做的便是最小化损失函数，取得的Θ值便是我们需要的参数。

**算法思想：**

随机找一个点，沿着下降最快的方向走到一个局部最低点，因此Gradient Descent存在局部最优的缺点。

梯度的方向由J（Θ）对Θ的偏导数决定，可以得到参数的更新法则为：

![Image 1][]![Center 3][]

![Image 1][]

此算法Θ 随机生成初始值，再根据更新法则不断迭代更新Θ的值，其中α是学习率，表征的是下降的速度，若太大则可能越过最低点，太小则学习的速率太慢容易陷入局部最优点。迭代实则是循环，我们应当设置一定的条件终止循环，比如说循环达到一定的次数，或者Θ更新的差分值低于某个值等。

另外，还需要提一点就是，当样本的数量达到一定的数量时，更新参数的计算量以及时间变大，因此一般选择随机梯度下降算法来增加参数的更新速率和频度，也即每次选取一定的训练样本进行更新计算，以便更快的收敛，随机梯度下降算法下降速度快，但不能收敛到全局最优，一般在最小值边缘徘徊。

代码实现python：

\#coding=utf-8  
\#梯度下降算法的实现  
**import** numpy **as** np  
**import** matplotlib.pyplot **as** plt  
\#学习率设置  
rate = 0.001  
x\_train = np.array(\[\[1, 2\],\[2, 1\],\[2, 3\],\[3, 5\],\[1, 3\],\[4, 2\],\[7, 3\],\[4, 5\],\[11, 3\],\[8, 7\]\])  
y\_train = np.array(\[7, 8, 10, 14, 8, 13, 20, 16, 28, 26\])  
x\_test = np.array(\[\[1, 4\],\[2, 2\],\[2, 5\],\[5, 3\],\[1, 5\],\[4, 1\]\])  
  
m = np.shape(x\_train)\[1\]  
\#初始化参数  
theta = np.random.normal(size=m)  
\#定义计算预测值的函数 h(x) = theta \* x  
**def** **h**(x):  
**return** np.dot(theta,x.T)  
\#梯度下降的规则是：  
\#J对theta的导数是： (h(x)-y)\*x  
\#theta = theta - alpha \* (h(x)-y)\*x  
\#设置了两个迭代条件：  
\# 循环次数达到一定数目  
\# theta更新差低于某个数  
**for** i **in** range(100):  
theta\_old = np.zeros(m)  
**for** x, y **in** zip(x\_train, y\_train):  
theta\_old = theta\_old +rate \*(y-h(x))\* x  
**if**(np.dot((theta\_old),(theta\_old).T)<0.001):  
**break**  
 theta+=theta\_old \#更新梯度参数  
 plt.plot(\[h(xi) **for** xi **in** x\_test\])\#将参数运用到测试集里  
plt.show()

结果演示：![Center 4][]

![Image 1][]

结论：可以看出数据越来越接近。

[Center]: /images/20220617/26c004cac45c474a85dc5319ef5ca577.png
[Image 1]: 
[Center 1]: /images/20220617/61f60f7f7080412f8716c54bb591c644.png
[Center 2]: /images/20220617/b8f727362de74c57b594d063ea6246c2.png
[Center 3]: /images/20220617/31085437c9444f3aac39505d9024f0e5.png
[Center 4]: /images/20220617/2e07587e25c84c089c3c9c322ea4e401.png