多变量线性回归

雨点打透心脏的1/2处 2022-07-14 08:42 241阅读 0赞

目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征, 例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,…,xn)

增添更多特征后,我们引入一系列新的注释:  
n 代表特征的数量  
x(i)代表第 i 个训练实例,是特征矩阵中的第 i 行,是一个向量(vector)。  
xij 代表特征矩阵中第 i 行的第 j 个特征,也就是第 i 个训练实例的第 j 个特征。

支持多变量的假设 h 表示为:h(x)=θ0\+θ1x1\+θ2x2...θnxn

这个公式中有 n+1 个参数和 n 个变量,为了使得公式能够简化一些,引入 x0=1,则公式  
转化为:h(x)=ΘTX

#### 多变量梯度下降 ####

与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价 函数是所有建模误差的平方和,即:

j(θ0,θ1...θn)=12m∑i=1m(hθ(x(i))−y(i))2

其中:  hθ(x)=ΘTX=θ0x0\+θ1x1\+....θnxn

我们的目标和单变量线性回归问题中一样,是要找出使得代价函数最小的一系列参数。  
多变量线性回归的批量梯度下降算法为:

![p9.png][]

**梯度下降法实践 1-特征缩放**

在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯 度下降算法更快地收敛。  
以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0- 2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等 高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。

xn=xn−unsn

其中  un 表示平均值，  sn 表示标准差

**梯度下降法实践 2-学习率**  
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们 可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。  
![p10.png][]

也有一些自动测试是否收敛的方法,例如将代价函数的变化值与某个阀值(例如 0.001) 进行比较,但通常看上面这样的图表更好。  
梯度下降算法的每次迭代受到学习率的影响,如果学习率 α 过小,则达到收敛所需的迭 代次数会非常高;如果学习率 α 过大,每次迭代可能不会减小代价函数,可能会越过局部最 小值导致无法收敛。

通常可以考虑尝试些学习率: α=0.01,0.03,0.1,0.3,1,3,10

**特征和多项式回归**

![p11.png][]

注:如果我们采用多项式回归模型,在运行梯度下降算法前,特征缩放非常有必要。

#### 正规方程 ####

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的: σσθjJ(θj)=0

假设我们的训练集特征矩阵为 X(包含了 x0=1)并且我们的训练集结果为向量 y,则利用正规方程解出的向量为

Θ=(XTX)−1XTy

注:对于那些不可逆的矩阵(通常是因为特征之间不独立,如同时包含英尺为单位的尺  
寸和米为单位的尺寸两个特征,也有可能是特征数量大于训练集的数量),正规方程方法是 不能用的。

**梯度下降与正规方程的比较:**

![p12.png][]

总结一下,只要特征变量的数目并不大,标准方程是一个很好的计算参数 θ 的替代方 法。具体地说,只要特征变量数量小于一万,我通常使用标准方程法,而不使用梯度下降法。  
随着我们要讲的学习算法越来越复杂,例如,当我们讲到分类算法,像逻辑回归算法,  
我们会看到, 实际上对于那些算法,并不能使用标准方程法。对于那些更复杂的学习算法,  
我们将不得不仍然使用梯度下降法。因此,梯度下降法是一个非常有用的算法,可以用在有大量特征变量的线性回归问题

**正规方程及不可逆性**

有些同学曾经问过我,当计算 θ=inv(X’X ) X’y ,那对于矩阵 X’X 的结果是不可逆的情况 咋办呢?  
如果你懂一点线性代数的知识,你或许会知道,有些矩阵可逆,而有些矩阵不可逆。我 们称那些不可逆矩阵为奇异或退化矩阵。

问题的重点在于 X’X 的不可逆的问题很少发生,在 Octave 里,如果你用它来实现 θ 的 计算,你将会得到一个正常的解。在 Octave 里,有两个函数可以求解矩阵的逆,一个被称 为 pinv(),另一个是 inv(),这两者之间的差异是些许计算过程上的,一个是所谓的伪逆,另 一个被称为逆。使用 pinv() 函数可以展现数学上的过程,这将计算出 θ 的值,即便矩阵 X’X 是不可逆的。

在 pinv() 和 inv() 之间,又有哪些具体区别呢 ?  
其中 inv() 引入了先进的数值计算的概念。例如,在预测住房价格时,如果 x1 是以英尺 为尺寸规格计算的房子,x2 是以平方米为尺寸规格计算的房子,同时,你也知道 1 米等于 3.28 英尺 ( 四舍五入到两位小数 ),这样,你的这两个特征值将始终满足约束:x1=x2\* (3.28)2。

实际上,你可以用这样的一个线性方程,来展示那两个相关联的特征值,矩阵 X’X 将是 不可逆的。

第二个原因是,在你想用大量的特征值,尝试实践你的学习算法的时候,可能会导致矩 阵 X’X 的结果是不可逆的。  
具体地说,在 m 小于或等于 n 的时候,例如,有 m 等于 10 个的训练样本也有 n 等于  
100 的特征数量。

总之,出现不可逆矩阵的情况极少发生,所以 在大多数实现线性回归中,出现不可逆的问题不应该过多的关注 XTX 是不可逆的。

[p9.png]: /images/20220714/a122382618694f1b8ff42207f1f3b42f.png
[p10.png]: /images/20220714/2a393914931a4f68b77312d41240a643.png
[p11.png]: /images/20220714/c123c56f42344956985be3be9ebc71df.png
[p12.png]: /images/20220714/1e015e3c8540412bb830361d8c1f514e.png