【ML笔记】LR和SVM的异同

阳光穿透心脏的1/2处 2022-06-11 01:22 139阅读 0赞

## 相同点 ##

### LR和SVM都是分类算法。 ###

二者的label都是离散的，所以都是分类算法。

### 如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 ###

这里要先说明一点，那就是LR也是可以用核函数的，至于为什么通常在SVM中运用核函数而不在LR中运用，后面讲到他们之间区别的时候会重点分析。总之，原始的LR和SVM都是线性分类器，这也是为什么通常没人问你决策树和LR什么区别，决策树和SVM什么区别。

### LR和SVM都是监督学习算法。 ###

input数据有label

### LR和SVM都是判别模型。 ###

判别模型会生成一个表示P(Y|X)的判别函数（或预测模型），而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说，在计算判别模型时，不会计算联合概率，而在计算生成模型时，必须先计算联合概率。或者这样理解：生成算法尝试去找到底这个数据是怎么生成的（产生的），然后再对一个信号进行分类。基于你的生成假设，那么那个类别最有可能产生这个信号，这个信号就属于那个类别。判别模型不关心数据是怎么生成的，它只关心信号之间的差别，然后用差别来简单对给定的一个信号进行分类。常见的判别模型有：KNN、SVM、LR，常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。

###  ###

## 不同点 ##

### 本质上是其loss function不同 ###

不同的loss function代表了不同的假设前提，也就代表了不同的分类原理，也就代表了一切！简单来说，逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值。支持向量机基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分类面

### 支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用） ###

线性SVM不直接依赖于数据分布，分类平面不受一类点影响；LR则受所有数据点的影响，如果数据不同类别strongly unbalance，一般需要先对数据做balancing。

在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法。

这个问题理解起来非常简单。分类模型的结果就是计算决策面，模型训练的过程就是决策面的计算过程。通过上面的第二点不同点可以了解，在计算决策面时，SVM算法里只有少数几个代表支持向量的样本参与了计算，也就是只有少数几个样本需要参与核计算（即kernal machine解的系数是稀疏的）。然而，LR算法里，每个样本点都必须参与决策面的计算过程，也就是说，假设我们在LR里也运用核函数的原理，那么每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。所以，在具体应用时，LR很少运用核函数机制。

### 线性SVM依赖数据表达的距离测度，所以需要对数据先做normalization，LR不受其影响。 ###

一个基于概率，一个基于距离！

### SVM的损失函数就自带正则！！（损失函数中的1/2||w||^2项），这就是为什么SVM是结构风险最小化算法的原因！而LR必须另外在损失函数上添加正则项！ ###

以前一直不理解为什么SVM叫做结构风险最小化算法，所谓结构风险最小化，意思就是在训练误差和模型复杂度之间寻求平衡，防止过拟合，从而达到真实误差的最小化。未达到结构风险最小化的目的，最常用的方法就是添加正则项。

## 参考文献 ##

周志华《机器学习》

[http://www.zhihu.com/question/26768865/answer/34078149  
][http_www.zhihu.com_question_26768865_answer_34078149]

[http://blog.csdn.net/macyang/article/details/38782399  
][http_blog.csdn.net_macyang_article_details_38782399]

[http://blog.csdn.net/pakko/article/details/37878837  
][http_blog.csdn.net_pakko_article_details_37878837]

[http://www.zhihu.com/question/26768865/answer/34078149  
][http_www.zhihu.com_question_26768865_answer_34078149]

[http://www.cnblogs.com/zhizhan/p/5038747.html][http_www.cnblogs.com_zhizhan_p_5038747.html]

[http_www.zhihu.com_question_26768865_answer_34078149]: http://www.zhihu.com/question/26768865/answer/34078149
[http_blog.csdn.net_macyang_article_details_38782399]: http://blog.csdn.net/macyang/article/details/38782399
[http_blog.csdn.net_pakko_article_details_37878837]: http://blog.csdn.net/pakko/article/details/37878837
[http_www.cnblogs.com_zhizhan_p_5038747.html]: http://www.cnblogs.com/zhizhan/p/5038747.html