理解线性回归（四）——总结线性回归

深藏阁楼爱情的钟 2022-08-13 16:55 308阅读 0赞

# 理解线性回归（四）——总结线性回归 #

这一篇我们来总结几个常用的线性回归模型。

首先，我们给出这么集中线性回归模型的list：

# 1）Ordinary Least Squares  #

这个线性模型是所有线性模型的基础，后面的线性模型要么就是在它的基础上加上更多的约束，一般是对表示系数的约束；要么就是基于它的构造思想。

总的来说，ordinary least squares目标函数的思想就是让许多特征的线性表示之和与它们的结果（分类标记），之间的误差最小化。这个也是几乎所有线性模型建立目标函数的基础。

其目标函数如下：

![Center][]

关于ordinary least squares的模型，我们在上一篇中已经有了详细的介绍。

http://blog.csdn.net/puqutogether/article/details/40399545

# 2）Ridge Regression  #

岭回归的目标函数就是建立在上面的基础上的一种改进版本，但顶多算是个v 0.1版本。为什么呢？因为其几乎完全就是稍微修改了一下目标函数。在误差最小的基础上，又加入了对表示系数矩阵w的L2范数的约束。具体的表达的在前面的前面一篇也介绍过了。

其目标函数如下：

![Center 1][]

http://blog.csdn.net/puqutogether/article/details/40863943

# 3）Lasso  #

Lasso也是一种线性模型，其对表示系数加入了稀疏的约束。稀疏的直观解释就是只存在少部分非零值，其余的大部分都是0. 需要说一下的是，系数矩阵（向量）有其独特的表示形式，就指明行号和列号，以及该位置具体的数值就可以，不需要把整个矩阵（向量）full出来。

有了稀疏的认识，那么我们就可以推断出Lasso模型中对表示系数的约束形式：L0范数。L0范数就是统计向量的非零个数。但是这个约束是NP问题，我们一般不直接使用L0范数来对系数做要求，转换为L1范数来做。，所以Lasso模型的目标函数为：

![Center 2][]

# 4）Elastic Net  #

Elastic Net（弹性网线性模型）结合了岭回归和Lasso回归的优点，即在目标函数中对系数的约束既有L1范数，也有L2范数。In other words, 这个模型求出来的表示系数，既有稀疏性，又有正则化约束的特性，继承了岭回归的健壮性。

Elastic Net比较适合多特征样本的预测问题，而且特征之间比较相关。

其目标函数如下：

![Center 3][]

# 5）Multi-task Lasso  #

该线性模型是基于Lasso的，适合一下子学习多个回归问题。所有此时的Y就表示样本矩阵，Multi-Lasso可以针对每个task学习一组表示系数，而且这种学习是jointly的。

其目标函数如下：

![Center 4][]

# 6）Least Angle Regression （LARS） #

这种线性模型适合高维数据。其主要有如下一个特性：

a. 当样本维数远大于样本个数的时候，该模型特别有效；

b. 计算复杂度和ordinary least squares差不多；

b. 当两个样本非常相似的时候，他们的系数学习的过程也很相似；

c. 对噪声敏感；

# 7）LARS Lasso  #

和上一个模型类似，只不过能够得到较为精确的解。

# 8）Orthogonal Matching Pursuit (OMP)  #

这是一个非常有名的求解稀疏表示系数的算法。它可以直接对系数的L0范数约束求解，只不过要给这个算法输入一个用户指定的tolerance。

其模型如下：

![Center 5][]

该算法是基于贪婪算法，字典中的原子都是和当前残差相关性最大。

# 9）Bayesian Regression  #

贝叶斯回归模型，就是把前面对系数的正则项约束用概率的形式展现出来。

# 10）Logistic Regression  #

LR回归更加适合分类这种task。该线性模型先通过系数线性表示特征，然后把特征映射到logistic模型中，使得其函数值可以非为0，1两类。

更多的关于LR回归的介绍已经在前面一篇文章中给出了，参考：

http://blog.csdn.net/puqutogether/article/details/39613299

[Center]: /images/20220810/55201fa152054b29bdcbeab651416c76.png
[Center 1]: /images/20220810/fa25933d884f4866863a8ca7ec41bf54.png
[Center 2]: /images/20220810/181300b36b5b4cb2bc55d5d016eea273.png
[Center 3]: /images/20220810/bbb6648e9e6e4d208aab2dc8c1390400.png
[Center 4]: /images/20220810/f1c03fc0ffcc4e4b8cccbee38dae95bc.png
[Center 5]: /images/20220810/fe29581f5cff4623ab572855a044b265.png