机器学习-线性回归

电玩女神 2022-05-10 09:14 341阅读 0赞

# 基本概念 #

在线性模型中通过一个线性组合进行预测, 由**W**和b根据x得到f(x)的值

即: f(x)=![w\_\{1\}x\_\{1\}+w\_\{2\}x\_\{2\}+...+w\_\{n\}x\_\{n\}+b][w_1_x_1_w_2_x_2_..._w_n_x_n_b]

或者写为: f(x)= ![\\overrightarrow\{W\}^\{T\}\\overrightarrow\{x\}+b][overrightarrow_W_T_overrightarrow_x_b]

线性回归就是为了学得w和b的值, 然后进行回归预测

# 相关公式 #

利用最小二乘法可以得到

![w=\\frac\{\\sum\_\{i=1\}^\{m\} y\_\{i\}(x\_\{i\}-\\overline\{x\})\}\{\\sum\_\{i=1\}^\{m\}x\_\{i\}^\{2\}-\\frac\{1\}\{m\}(\\sum\_\{i=1\}^\{m\}x\_\{i\})^\{2\}\}][w_frac_sum_i_1_m_ y_i_x_i_-_overline_x_sum_i_1_m_x_i_2_-_frac_1_m_sum_i_1_m_x_i_2]

![b=\\frac\{1\}\{m\}\\sum\_\{i=1\}^\{m\}(y\_\{i\}-wx\_\{i\})][b_frac_1_m_sum_i_1_m_y_i_-wx_i]

进一步转化:

将w和b合写在一起 ![\\hat\{w\}=\\\{w;b\\\}][hat_w_w_b] 矩阵X在最右边添上一列1

回归方程可以改写为![y=f(X)=\\hat\{w\}^\{T\}X][y_f_X_hat_w_T_X]

使用方差来估计误差

方差为 ![gif.latex][]![\\sum\_\{i=1\}^\{m\}(y\_\{i\}-x\_\{i\}^\{T\}\\hat\{w\})^\{2\}][sum_i_1_m_y_i_-x_i_T_hat_w_2] 也可以写作 ![(y-X\\hat\{w\})^\{T\}(y-X\\hat\{w\})][y-X_hat_w_T_y-X_hat_w]

由于上式为一个凸函数(下凸), 所以对w求导令上式为零可得误差取极小值时的![\\hat\{w\}][hat_w]

即 ![\\hat\{w\}=(X^\{T\}X)^\{-1\}X^\{T\}y][hat_w_X_T_X_-1_X_T_y]

最终可得线性回归模型为 ![f(\\hat\{x\_\{i\}\})=\\hat\{x\_\{i\}\}^\{T\}(X^\{T\}X)^\{-1\}X^\{T\}y][f_hat_x_i_hat_x_i_T_X_T_X_-1_X_T_y]

# 具体代码实现 #

## 仅利用numpy实现 ##

首先生成一些近似于线性的数据用于测试

import numpy as np
    np.random.seed(42)
    x=2*np.random.rand(100,1)#从均匀分布中抽取样本
    y=4+3*x+np.random.randn(100,1)#从均值0方差1的正态分布中抽取样本
    
    import matplotlib.pyplot as plt
    plt.plot(x,y,'o',color='black')

![70][]

计算![\\hat\{w\}][hat_w]  
其中X需要再加上一行1, 以便于生成![\\hat\{w\}][hat_w]

X_b=np.c_[np.ones((100,1)),x]#向X矩阵添加一 列1
    w_best=np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
    w_best

array(\[\[4.21509616\], \[2.77011339\]\])

X_new=np.array([[0],[2]])
    X_new_b=np.c_[np.ones((2,1)),X_new]
    y_predict=X_new_b.dot(w_best)
    y_predict

array(\[\[4.21509616\], \[9.75532293\]\])

plt.plot(X_new,y_predict,'r-',label='predict')#r代表红色, -代表将两点连成线
    plt.plot(x,y,'b.',label='scatter')#b代表蓝色, .代表散点图
    plt.axis([0,2,0,15])#控制横纵轴范围, 横轴为0到2, 纵轴0到15
    plt.xlabel('x')
    plt.ylabel('y')
    plt.title('Linear Regression')
    plt.legend()

![70 1][]

## 利用sklearn实现 ##

from sklearn.linear_model import LinearRegression
    lr=LinearRegression().fit(x,y)
    lr.intercept_, lr.coef_

(array(\[4.21509616\]), array(\[\[2.77011339\]\]))

构建test set ,X设置为0和2, Y为predict值  
不再需要自己构建w\_best  
y\_predict直接使用LinearRegression().predict()得到

X_new=np.array([[0],[2]])
    print(lr.predict(X_new))#y_predict
    plt.plot(X_new,lr.predict(X_new),'r-',label='predict')
    plt.plot(x,y,'b.',label='scatter')
    plt.show()

\[\[4.21509616\] \[9.75532293\]\]

![70 2][]

可以通过corcoef的命令来计算预测值和真实值直接的相关性  
但是必须保证两个向量都是行向量

yHat=X_b.dot(w_best)
    #print(yHat)
    #print(y)
    print(np.corrcoef(yHat.T,y.T))#要保证两个向量都是行向量

\[\[1. 0.8770824\] \[0.8770824 1. \]\]

正对角线上的是自己跟自己的相关系数, 所以是1  
而反对角线上的就是预测值和实际值之间的相关系数, 比较接近1

[w_1_x_1_w_2_x_2_..._w_n_x_n_b]: https://private.codecogs.com/gif.latex?w_%7B1%7Dx_%7B1%7D&plus;w_%7B2%7Dx_%7B2%7D&plus;...&plus;w_%7Bn%7Dx_%7Bn%7D&plus;b
[overrightarrow_W_T_overrightarrow_x_b]: https://private.codecogs.com/gif.latex?%5Coverrightarrow%7BW%7D%5E%7BT%7D%5Coverrightarrow%7Bx%7D&plus;b
[w_frac_sum_i_1_m_ y_i_x_i_-_overline_x_sum_i_1_m_x_i_2_-_frac_1_m_sum_i_1_m_x_i_2]: https://private.codecogs.com/gif.latex?w%3D%5Cfrac%7B%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%20y_%7Bi%7D%28x_%7Bi%7D-%5Coverline%7Bx%7D%29%7D%7B%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dx_%7Bi%7D%5E%7B2%7D-%5Cfrac%7B1%7D%7Bm%7D%28%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dx_%7Bi%7D%29%5E%7B2%7D%7D
[b_frac_1_m_sum_i_1_m_y_i_-wx_i]: https://private.codecogs.com/gif.latex?b%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%28y_%7Bi%7D-wx_%7Bi%7D%29
[hat_w_w_b]: https://private.codecogs.com/gif.latex?%5Chat%7Bw%7D%3D%5C%7Bw%3Bb%5C%7D
[y_f_X_hat_w_T_X]: https://private.codecogs.com/gif.latex?y%3Df%28X%29%3D%5Chat%7Bw%7D%5E%7BT%7DX
[gif.latex]: https://private.codecogs.com/gif.latex?
[sum_i_1_m_y_i_-x_i_T_hat_w_2]: https://private.codecogs.com/gif.latex?%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%28y_%7Bi%7D-x_%7Bi%7D%5E%7BT%7D%5Chat%7Bw%7D%29%5E%7B2%7D
[y-X_hat_w_T_y-X_hat_w]: https://private.codecogs.com/gif.latex?%28y-X%5Chat%7Bw%7D%29%5E%7BT%7D%28y-X%5Chat%7Bw%7D%29
[hat_w]: https://private.codecogs.com/gif.latex?%5Chat%7Bw%7D
[hat_w_X_T_X_-1_X_T_y]: https://private.codecogs.com/gif.latex?%5Chat%7Bw%7D%3D%28X%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7Dy
[f_hat_x_i_hat_x_i_T_X_T_X_-1_X_T_y]: https://private.codecogs.com/gif.latex?f%28%5Chat%7Bx_%7Bi%7D%7D%29%3D%5Chat%7Bx_%7Bi%7D%7D%5E%7BT%7D%28X%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7Dy
[70]: /images/20220510/df37e4af306b4468bd85562d760bee6b.png
[70 1]: /images/20220510/248c9e6a073f4980954a70a9a169eb5f.png
[70 2]: /images/20220510/5ee3aa2959024bbb84523362878e2a29.png