第二弹----从语言模型到朴素贝叶斯

た入场券 2022-03-18 08:42 167阅读 0赞

# 朴素贝叶斯 #

## 引言 ##

贝叶斯方法是一个历史悠久，有着坚实的理论基础的方法，同时处理很多问题时直接而又高效，很多高级自然语言处理模型也可以从它演化而来。因此，学习贝叶斯方法，是研究自然语言处理问题的一个非常好的切入口。

## 用机器学习的视角理解贝叶斯公式 ##

在机器学习的视角下，我们把X理解成**“具有某特征”**，把Y理解成**“类别标签”**(一般机器学习为题中都是`X=>特征`, `Y=>结果`对吧)。在最简单的二分类问题(`是`与`否`判定)下，我们将Y理解成**“属于某类**”的标签。于是贝叶斯公式就变形成了下面的样子:

![P(Y|X) = \\frac\{P(X|Y)P(Y)\}\{P(X)\}][P_Y_X_ _ _frac_P_X_Y_P_Y_P_X]

简单解释一下上述公式：

P(Y|X)：在已知样本具有某种特征的条件下，该样本属于某类的概率，所以叫做后验概率

P(X|Y)：在已知样本属于某类的情况下，该样本具有某种特征的概率，所以叫做先验概率

P(X)：在未知某样本属于某类的条件下，该样本具有某种特征的概率

这里需要补充一下，一般先验概率和后验概率是相对出现的，比如P(Y)与P(Y|X)是关于Y的先验概率和后验概率，P(X)与P(X|Y)是关于X的先验概率和后验概率

## 垃圾邮件识别 ##

举个例子，我们现在要对邮件进行分类，识别垃圾邮件和普通邮件，如果我们选择朴素贝叶斯分类器，那目标就是判断P（垃圾邮件|具有某特征）是否大于二分之一，现在假设我们有垃圾邮件和普通邮件各一万封作为训练集，需要判断以下邮件是否属于垃圾邮件：

“我司可办理正规发票（保真）17%增值税发票点数优惠！”

也就是判断P（垃圾邮件|“我司可办理正规发票（保真）17%增值税发票点数优惠！”）是否大于二分之一

通过上面的贝叶斯公式可以很容易算出最后的结果

## 分词 ##

一个很悲哀但是很现实的结论： **训练集是有限的，而句子的可能性则是无限的。所以覆盖所有句子可能性的训练集是不存在的。**

所以解决方法是？ **句子的可能性无限，但是词语就那么些！！**汉语常用字2500个，常用词语也就56000个(你终于明白小学语文老师的用心良苦了)。按人们的经验理解，两句话意思相近并不强求非得每个字、词语都一样。比如**“我司可办理正规发票，17%增值税发票点数优惠！”**，这句话就比之前那句话少了**“（保真）”**这个词，但是意思基本一样。如果把这些情况也考虑进来，那样本数量就会增加，这就方便我们计算了。

于是，我们可以不拿句子作为特征，而是拿句子里面的词语（组合）作为特征去考虑。比如**“正规发票”**可以作为一个单独的词语，**“增值税”**也可以作为一个单独的词语等等。

> 句子**“我司可办理正规发票，17%增值税发票点数优惠！”就可以变成（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)）**。

于是你接触到了中文NLP中，最最最重要的技术之一：**分词**！！！也就是**把一整句话拆分成更细粒度的词语来进行表示**。另外，分词之后**去除标点符号、数字甚至无关成分(停用词)是特征预处理中的一项技术**。

**中文分词是一个专门的技术领域(我不会告诉你某搜索引擎厂码砖工有专门做分词的！！！)，上过之前课程的同学都知道python有一个非常方便的分词工具jieba，假定我们已经完成分词工作：**

我们观察（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)，**这可以理解成一个向量：向量的每一维度都表示着该特征词在文本中的特定位置存在。这种将特征拆分成更小的单元，依据这些更灵活、更细粒度的特征进行判断的思维方式，在自然语言处理与机器学习中都是非常常见又有效的。**

因此贝叶斯公式就变成了：

P(“垃圾邮件”|（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)）=P(（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)|"垃圾邮件"）P(“垃圾邮件”)/P(（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”))

## 条件独立假设 ##

下面我们马上会看到一个非常简单粗暴的假设。

概率P(（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)|"垃圾邮件"）P(（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)|"垃圾邮件"）依旧不够好求，我们引进一个**很朴素的近似**。为了让公式显得更加紧凑，我们令字母S表示“垃圾邮件”,令字母H表示“正常邮件”。近似公式如下：

这就是传说中的**条件独立假设**。基于“正常邮件”的条件独立假设的式子与上式类似，此处省去。接着，将条件独立假设代入上面两个相反事件的贝叶斯公式。

## 朴素贝叶斯，‘Naive’在何处 ##

**加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）。** Naive的发音是“乃一污”，意思是“朴素的”、“幼稚的”、**“蠢蠢的”**。咳咳，也就是说，大神们取名说该方法是一种比较萌蠢的方法，为啥？

将句子（“我”,“司”,“可”,“办理”,“正规发票”) 中的 （“我”,“司”）与（“正规发票”）调换一下顺序，就变成了一个新的句子（“正规发票”,“可”,“办理”, “我”, “司”)。新句子与旧句子的意思完全不同。**但由于乘法交换律，朴素贝叶斯方法中算出来二者的条件概率完全一样！**计算过程如下：

P(（“我”,“司”,“可”,“办理”,“正规发票”)|S) =P(“我”|S)P(“司”|S)P(“可”|S)P(“办理”|S)P(“正规发票”|S)= P(“正规发票”|S)P(“可”|S)P(“办理”|S)P(“我”|S)P(“司”|S） =P(（“正规发票”,“可”,“办理”,“我”,“司”)|S)

**也就是说，在朴素贝叶斯眼里，“我司可办理正规发票”与“正规发票可办理我司”完全相同。朴素贝叶斯失去了词语之间的顺序信息。**这就相当于把所有的词汇扔进到一个袋子里随便搅和，贝叶斯都认为它们一样。因此这种情况也称作**词袋子模型(bag of words)**。

词袋子模型与人们日常经验完全不同，比如在条件独立假设的情况下，‘武松打死了老虎’和‘老虎打死了武松’是一个意思。

## 简单高效，屌丝逆袭 ##

虽然说朴素贝叶斯方法萌蠢萌蠢的，但实践证明在垃圾邮件识别的应用还**令人诧异地好**。Paul Graham先生自己简单做了一个朴素贝叶斯分类器，**“1000封垃圾邮件能够被过滤掉995封，并且没有一个误判”。**（Paul Graham《黑客与画家》）

那个...效果为啥好呢？

“有人对此提出了一个理论解释，并且建立了什么时候朴素贝叶斯的效果能够等价于非朴素贝叶斯的充要条件，这个解释的核心就是：有些独立假设在各个分类之间的分布都是均匀的所以对于似然的相对大小不产生影响；即便不是如此，也有很大的可能性**各个独立假设所产生的消极影响或积极影响互相抵消，最终导致结果受到的影响不大**。具体的数学公式请参考[这篇paper][paper]。”（刘未鹏《：平凡而又神奇的贝叶斯方法》）

## 处理重复词语的三种方式 ##

我们**之前的垃圾邮件向量（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)，其中每个词都不重复。**而这在现实中其实很少见。因为如果文本长度增加，或者分词方法改变，**必然会有许多词重复出现**，因此需要对这种情况进行进一步探讨。比如以下这段邮件：

“代开发票。增值税发票，正规发票。” 分词后为向量： （“代开”,“发票”,“增值税”,“发票”,“正规”,“发票”）

其中发票重复了三次

### 多项式模型 ###

如果我们考虑重复词语的话，也就是说，重复的词语我们视为其出现多次，直接按条件独立假设的方式推导则有

在统计计算P（发票|S）时，每个被统计的垃圾邮件样本中重复的词语页统计多次。这个结果中出现了指数，因此这样的模型叫做多项式模型

P（发票|S）等于每封垃圾邮件中出现发票的次数的总和除以每封垃圾邮件中所有词出现次数（计算重复次数）的总和

### 伯努利模型 ###

另一种更简洁的方法是将重复的词语都视为只出现一次

P（发票|S）等于出现发票的垃圾邮件的封数除以每封垃圾邮件中所有词出现次数（计算了只出现了一次）的总和

这种模型叫做伯努利模型

### 混合模型 ###

第三种方式是在计算句子概率时，不考虑重复语出现的次数，但是在统计计算词语的概率P(词语|S)时，却考虑重复词语的出现次数，这样的模型叫做混合模型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70][]

具体实践过程中采用哪种模型，关键看具体的业务场景，一种简单的经验是，对于垃圾邮件识别，混合模型要更好一些

## 去除停用词语选择关键词 ##

我们继续观察**（“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)** 这句话。其实，像**“我”、“可”**之类词其实非常中性，无论其是否出现在垃圾邮件中都无法帮助判断的有用信息。所以可以直接不考虑这些典型的词。这些无助于我们分类的词语叫作**“停用词”（Stop Words）**。这样可以**减少我们训练模型、判断分类的时间**。 于是之前的句子就变成了**（“司”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)** 。

我们进一步分析。以人类的经验，其实**“正规发票”、“发票”**这类的词如果出现的话，邮件作为垃圾邮件的概率非常大，可以作为我们区分垃圾邮件的**“关键词”**。而像**“司”、“办理”、“优惠”**这类的词则有点鸡肋，可能有助于分类，但又不那么强烈。如果想省事做个简单的分类器的话，则可以直接采用“关键词”进行统计与判断，剩下的词就可以先不管了。于是之前的垃圾邮件句子就变成了**（“正规发票”,“发票”)** 。这样就更加减少了我们训练模型、判断分类的时间，速度非常快。

**“停用词”和“关键词”一般都可以提前靠人工经验指定**。不同的“停用词”和“关键词”训练出来的分类器的效果也会有些差异。

## 浅谈平滑技术 ##

我们来说个问题，比如在计算以下独立条件假设的概率：

P(（“我”,“司”,“可”,“办理”,“正规发票”)|S) =P(“我”|S)P(“司”|S)P(“可”|S)P(“办理”|S)P(“正规发票”|S）

我们扫描以下数据集但**是发现“正规发票”这个词从未出现过！**于是P（正规发票|S）=0，这样的话整个概率都变成了0，朴素贝叶斯方法面对一堆0，很凄惨的失效了。更残酷的是这种情况其实很常见，因为哪怕训练集再大也有可能没有覆盖掉的。为了能解决这个问题，一种分析思路就是直接不考虑这样的词语，但是这种方法相当于给P（正规发票|S）赋值为1，其实效果也不太好，大量的统计信息就给浪费掉了，我们进一步分析，既然可以默认赋值为1，为什么不能赋值为一个很小的数，这就是平滑技术的基本思路，依然保持着一贯的作风，这种方法是直接而有效的

对于伯努利模型，P（正规发票|S）是一种平滑算法：

P(“正规发票”|S）=出现“正规发票”的垃圾邮件的封数+1/每封垃圾邮件中所有词出现次数（出现了只计算一次）的总和+2

多项式模型,P（正规发票|S）的一种平滑算法

P(“发票”|S）=每封垃圾邮件中出现“发票”的次数的总和+1/每封垃圾邮件中所有词出现次数（计算重复次数）的总和+被统计的词表的词语数量

说起来，平滑技术的种类其实非常多，平滑技术是因为数据集太小而产生的现实要求，如果数据量足够大，平滑技术对结果的影响将会变小

## 为什么不直接匹配关键词来识别垃圾邮件 ##

其实关键词匹配的方法如果有效的话真不必用朴素贝叶斯。毕竟这种方法简单嘛，**就是一个字符串匹配**。从历史来看，之前没有贝叶斯方法的时候主要也是用关键词匹配。**但是这种方法准确率太低**。我们在工作项目中也尝试过用关键词匹配的方法去进行文本分类，发现大量误报。感觉就像扔到垃圾箱的邮件99%都是正常的！这样的效果不忍直视。而加一个朴素贝叶斯方法就可能把误报率拉低近一个数量级，体验好得不要不要的。

**另一个原因是词语会随着时间不断变化**。发垃圾邮件的人也不傻，当他们发现自己的邮件被大量屏蔽之后，也会考虑采用新的方式，**如变换文字、词语、句式、颜色等方式来绕过反垃圾邮件系统**。比如对于垃圾邮件“我司可办理正规发票，17%增值税发票点数优惠”,他们采用火星文：**“涐司岢办理㊣規髮票，17%增値稅髮票嚸數優蕙”**，那么字符串匹配的方法又要重新找出这些火星文，一个一个找出关键词，重新写一些匹配规则。更可怕的是，这些规则可能相互之间的耦合关系异常复杂，要把它们梳理清楚又是大一个数量级的工作量。等这些规则失效了又要手动更新新的规则……**无穷无尽猫鼠游戏最终会把猫给累死**。

而朴素贝叶斯方法却显示出无比的优势。因为它是**基于统计方法**的，只要训练样本中有更新的垃圾邮件的新词语，哪怕它们是火星文，**都能自动地把哪些更敏感的词语（如“髮”、“㊣”等）给凸显出来，并根据统计意义上的敏感性给他们分配适当的权重** ，这样就不需要什么人工了，非常省事。**你只需要时不时地拿一些最新的样本扔到训练集中，重新训练一次即可**。

小补充一下，对于火星文、同音字等替代语言，一般的分词技术可能会分得不准，最终可能只把一个一个字给分出来，成为“分字”。效果可能不会太好。也可以用过n-gram之类的语言模型，拿到最常见短语。当然，对于英文等天生自带空格来间隔单词的语言，分词则不是什么问题，使用朴素贝叶斯方法将会更加顺畅。

## 实际工程的tricks ##

应用朴素贝叶斯方法的过程中，一些tricks可以显著的帮助解决工程问题，我们毕竟经验有限，无法将他们全部罗列出来，只能就所知的一点点经验分享给大家

### 取对数 ###

我们提到使用垃圾邮件的方法是比较以下两个概率的大小（字母S表示垃圾邮件，H表示正常邮件）

![\\bar\{C\}][bar_C]=P(“我”|H)P(“司”|H)P(“可”|H)P(“办理”|H)P(“正规发票”|H)×P(“保真”|H)P(“增值税”|H)P(“发票”|H)P(“点数”|H)P(“优惠”|H)P(“正常邮件”)

但是这里进行了很多的乘法运算，计算的时间开销比较大，尤其是对于篇幅比较长的邮件，几万个数相乘起来还是非常花时间的。如果能把这些乘法变成加法则方便的多，通过数学上的log函数就可以实现这个功能，将上面的公式变为加法操作。

这里有个问题就是说做对数会不会更花时间，的确如此，但是可以在训练阶段直接计算logP，然后把他们存在一张大的hash表里，在判断的时候直接提取hash表中已经计算好的对数数据，然后相加即可，这样使得判断所需要的计算时间被转移到了训练阶段，实时运行的速度就会比之前块很多，这可不止是几个数量级的提升

### 转换为权重 ###

对于二分类，我们还可以继续提高判断的速度，既然要比较logC和log![\\bar\{C\}][bar_C]的大小，那就直接将上下两式相减，并继续化简：

![20190221103159236.png][]

如果大于0则属于垃圾邮件，我们可以把每一项作为其对应词语的权重

log（P(“发票”|S)/P(“发票”|H)）就可以作为词语‘发票’的权重，权重越大就越说明‘发票’更可能是与‘垃圾邮件’相关的特征。这样可以根据权重的大小来评估和筛选显著的特征，比如关键词。这些权重值可以直接提前计算好而存在hash表中。判断的时候直接将权重求和即可

关键词hash表的样子如下，左列是权重，右列是对应的词语，权重越高说明越‘关键’：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 1][]

[P_Y_X_ _ _frac_P_X_Y_P_Y_P_X]: https://private.codecogs.com/gif.latex?P%28Y%7CX%29%20%3D%20%5Cfrac%7BP%28X%7CY%29P%28Y%29%7D%7BP%28X%29%7D
[paper]: http://www.cs.unb.ca/~hzhang/publications/FLAIRS04ZhangH.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70]: /images/20220318/7364f28c5be14f01bf4cfdb43693bb5c.png
[bar_C]: https://private.codecogs.com/gif.latex?%5Cbar%7BC%7D
[20190221103159236.png]: /images/20220318/9cbd6cc11a48485db63f7b6feba5faff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 1]: /images/20220318/5cb4136c671549b297924cfaf172265c.png