标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

本是古典何须时尚 2022-03-15 16:42 423阅读 0赞

本文转载自[https://blog.csdn.net/zhoubl668/article/details/7787690][https_blog.csdn.net_zhoubl668_article_details_7787690]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]  
路径1-1-1-1的概率：0.4*0.45*0.5=0.09

路径2-2-2-2的概率:0.018

路径1-2-1-2:0.06

路径1-1-2-2:0.066

由此可得最优路径为1-1-1-1  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70 1]  
而实际上，在上图中，状态1偏向于转移到状态2，而状态2总倾向于停留在状态2，这就是所谓的标注偏置问题，由于分支数不同，概率的分布不均衡，导致状态的转移存在不公平的情况。

PS：标注偏置问题存在于最大熵马尔可夫模型（MEMM）中，虽然MEMM解决了HMM输出独立性假设的问题，但是只解决了观察值独立的问题，状态之间的假设则是标注偏置问题产生的根源，CRF则解决了标注偏置问题，是HMM模型的进一步优化。

![在这里插入图片描述][20190303222622344.png]

HMM模型中存在两个假设：一是输出观察值之间严格独立，二是状态的转移过程中当前状态只与前一状态有关(一阶马尔可夫模型)。  
![在这里插入图片描述][20190303222640803.png]

MEMM模型克服了观察值之间严格独立产生的问题，但是由于状态之间的假设理论，使得该模型存在标注偏置问题。

![在这里插入图片描述][20190303222648907.png]  
CRF模型解决了标注偏置问题，去除了HMM中两个不合理的假设，当然，模型相应得也变复杂了。

[https_blog.csdn.net_zhoubl668_article_details_7787690]: https://blog.csdn.net/zhoubl668/article/details/7787690
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70]: /images/20220315/017d9b135a0b44af81781911bd18c44b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x0MzI2MDMwNDM0_size_16_color_FFFFFF_t_70 1]: /images/20220315/61bb8cb6e1d043749045bd390a555bca.png
[20190303222622344.png]: /images/20220315/6640d02e11214f079fda4252271249b5.png
[20190303222640803.png]: /images/20220315/28785fce41534189ac77f2912a2ba106.png
[20190303222648907.png]: /images/20220315/2d7092b4d23647d6a1a05b1ff7b41b45.png