机器学习：生成式模型和判别式模型

逃离我推掉我的手 2022-04-03 14:39 311阅读 0赞

## 决策函数Y=f(X)与条件概率分布P(Y|X) ##

**决策函数Y=f(x****)**：输入一个x，它就输出一个y值，这个y与一个阈值比较，根据比较结果判定x属于哪个类别。

**条件概率分布P(y|x****)**：输入一个x，它通过比较它属于所有类的概率，然后预测时应用最大后验概率法（MAP）即比较条件概率最大的类为x对应的类别。

举个例子，对于一个二分类问题：对于Y=f(x)形式的分类模型，如果输出Y大于某个阈值V就属于类w1，否则属于类w2；而对于P(y|x)形式的分类模型，分别计算条件概率，如果P(w1|x)大于P(w2|x)，x就属于类w1，否则属于类w2。

--------------------

## 生成式模型与判别式模型 ##

**生成式模型**（Generative Model）**：**由数据学习联合概率密度分布P(x,y)，然后***生成***条件概率分布P(y|x)，或者直接学得一个决策函数 Y=f(x)，用作模型预测。

**判别式模型**（Discriminative Model）**：**由数据直接学习决策函数f(x)或者条件概率分布P(y|x)作为预测。

--------------------

## 异同点 ##

1.生成模型和判别模型都属于监督学习的模型。

2.生成式模型可以根据贝叶斯公式得到条件概率分布P(y|x)，但反过来不行，即判别方法不能还原出联合概率分布P(x,y)。

3.*生成方法*学习联合概率密度分布P(x,y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度，但它不关心到底划分各类的那个分类边界在哪；*判别方法*不能反映训练数据本身的特性，但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。

--------------------

## 常见模型分类 ##

**生成式模型：**

*  判别式分析
 *  朴素贝叶斯
 *  混合高斯模型
 *  隐马尔科夫模型（HMM）
 *  贝叶斯网络
 *  Sigmoid Belief Networks
 *  马尔可夫随机场（Markov Random Fields）
 *  深度信念网络（DBN）

**判别式模型：**

*  线性回归（Linear Regression）
 *  逻辑斯特回归（Logistic Regression）
 *  K近邻（KNN）
 *  感知机
 *  神经网络（NN）
 *  支持向量机（SVM）
 *  决策树
 *  最大熵模型（maximum entropy model, MaxEnt）
 *  高斯过程（Gaussian Process）
 *  条件随机场（CRF）
 *  区分度训练
 *  boosting方法

--------------------

## 借用一个网友举的通俗易懂的例子 ##

假如你的任务是识别一个语音属于哪种语言，对面一个人走过来，和你说了一句话，你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的：

（1）学习每一种语言，你花了大量精力把汉语、英语和法语等都学会了，我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说，你就可以知道他说的是什么语音.

（2）不去学习每一种语言，你只学习这些语言之间的差别，然后再判断（分类）。意思是指我学会了汉语和英语等语言的发音是有差别的，我学会这种差别就好了。

第一种方法就是生成方法，第二种方法是判别方法。

--------------------

参考一篇比较判别式模型和生成式模型的paper：   
[On Dicriminative vs. Generative classfier: A comparison of logistic regression and naive Bayes][On Dicriminative vs. Generative classfier_ A comparison of logistic regression and naive Bayes]

[On Dicriminative vs. Generative classfier_ A comparison of logistic regression and naive Bayes]: http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf