分类与回归区别是什么？

拼搏现实的明天。 2022-05-24 01:15 441阅读 0赞

## 简单解释： ##

分类和回归的区别在于输出变量的类型。

定量输出称为回归，或者说是连续变量预测；  
定性输出称为分类，或者说是离散变量预测。

举个例子：  
预测明天的气温是多少度，这是一个回归任务；

预测明天是阴、晴还是雨，就是一个分类任务。

*分类模型和回归模型本质一样，分类模型可将回归模型的输出离散化（下面例子1. 2. 4. 5.），回归模型也可将分类模型的输出连续化（下面例子3.）*

举几个例子:

1.  Logistic Regression 和 Linear Regression：
    
    1.  Linear Regression： 输出一个标量 wx+b，这个值是连续值，所以可以用来处理回归问题
    2.  Logistic Regression：把上面的 wx+b 通过 sigmoid 函数映射到(0,1)上，并划分一个阈值，大于阈值的分为一类，小于等于分为另一类，可以用来处理二分类问题
    3.  更进一步：对于N分类问题，则是先得到N组w值不同的 wx+b，然后归一化，比如用 softmax 函数，最后变成N个类上的概率，可以处理多分类问题
2.  Support Vector Regression 和 Support Vector Machine:
    
    1.  SVR：输出 wx+b，即某个样本点到分类面的距离，是连续值，所以是回归模型
    2.  SVM：把这个距离用 sign(·) 函数作用，距离为正(在超平面一侧)的样本点是一类，为负的是另一类，所以是分类模型
3.  Naive Bayes 用于分类 和 回归:
    
    1.  用于分类：y是离散的类别，所以得到离散的 p(y|x)，给定 x ，输出每个类上的概率
    2.  用于回归：对上面离散的 p(y|x)求期望 ΣyP(y|x)，就得到连续值。但因为此时y本身是连续的值，所以最地道的做法是，得到连续的概率密度函数p(y|x)，然后再对y求期望。参考 [http://www.cs.waikato.ac.nz/~eibe/pubs/nbr.pdf][http_www.cs.waikato.ac.nz_eibe_pubs_nbr.pdf]
4.  前馈神经网络(如 CNN 系列) 用于 分类 和 回归:
    
    1.  用于回归：最后一层有m个神经元，每个神经元输出一个标量，m个神经元的输出可以看做向量 v，现全部连到一个神经元上，则这个神经元输出 wv+b，是一个连续值，可以处理回归问题，跟上面 Linear Regression 思想一样
    2.  用于N分类：现在这m个神经元最后连接到 N 个神经元，就有 N 组w值不同的 wv+b，同理可以归一化（比如用 softmax ）变成 N个类上的概率（补充一下，如果不用 softmax，而是每个 wx+b 用一个 sigmoid，就变成多标签问题，跟多分类的区别在于，样本可以被打上多个标签）
5.  循环神经网络(如 RNN 系列) 用于分类 和 回归：
    
    1.  用于回归 和 分类： 跟 CNN 类似，输出层的值 y = wv+b，可做分类可做回归，只不过区别在于，RNN 的输出跟时间有关，即输出的是 \{y(t), y(t+1),...\}序列（关于时间序列，见下面的更新）

上面的例子其实都是从 prediction 的角度举例的，如果从 training 角度来看，分类模型和回归模型的目标函数不同，分类常见的是 log loss, hinge loss, 而回归是 square loss（关于 loss function，又是另一个story了，在此不展开了）

==== 进一步思考后的重要更新，谈谈时间序列模型 ========

上面的例子 1~4 解决的是常见的分类/回归问题，而例5 解决的是 时间序列问题。

1.  上面例1~4 的模型只适用于：这些样本的 y，没有时间上的相关性，比如：
    
    1.  人脸识别（分类问题），输入 x 是人脸的图像矩阵，识别目标 y 是人的ID，离散值，显然人与人的ID没有时间上的关系
    2.  人脸年龄预测（回归问题），输入 x 还是人脸图像矩阵，识别目标 y 是人的年龄，连续值，显然人与人之间的年龄亦没有时间上的关系
2.  而当这些样本的 y 在时间上有相关性时，就变成了 时间序列问题，如果我们依然用非时间序列的方法来处理，就割裂了y的时间相关性，所以常见手段是用例5提到的RNN，（当然，还有 HMM, CRF 这些）但注意别用统计学里面那些愚蠢的 AR 模型（参考我的回答 [时间序列建模问题，如何准确的建立时间序列模型？ - 知乎用户的回答 - 知乎][- _ -]）。应用场景：
    
    1.  NLP 里的命名体识别（分类问题），输入是一句话，可以看做是由单词组成的时间序列（准确说是: 事件序列），输出是每个单词所属的标签
    2.  气温预测（回归问题），输入是历史时间的气温记录，输出是未来1天或多天的气温

![70][]

[http_www.cs.waikato.ac.nz_eibe_pubs_nbr.pdf]: https://link.zhihu.com/?target=http%3A//www.cs.waikato.ac.nz/~eibe/pubs/nbr.pdf
[- _ -]: https://www.zhihu.com/question/31833683/answer/152064596
[70]: /images/20220524/3526449342cb470a96ce0274a5a690d2.png