【自然语言处理】——模型总结

忘是亡心i 2022-01-28 01:49 305阅读 0赞

### 一、前言 ###

自然语言处理这几年发展迅猛，模型更新迭代太快。特此在这做一个记录，我会持续更新内容。

### 二、NLP知识体系 ###

![webp][]

### 三、NLP模型总结 ###

*  ** 朴素贝叶斯**

在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数Y=f(X)Y=f(X),要么是条件分布P(Y|X)P(Y|X)。但是朴素贝叶斯却是生成方法，也就是直接找出特征输出Y和特征X的联合分布P(X,Y)P(X,Y),然后用P(Y|X)=P(X,Y)/P(X)P(Y|X)=P(X,Y)/P(X)得出。

参考文章：[https://www.cnblogs.com/pinard/p/6069267.html][https_www.cnblogs.com_pinard_p_6069267.html]

--------------------

*  **SVM支持向量机**

支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。

参考文章1：[https://baijiahao.baidu.com/s?id=1607469282626953830&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1607469282626953830_wfr_spider_for_pc]

参考文章2：[http://www.blogjava.net/zhenandaci/category/31868.html][http_www.blogjava.net_zhenandaci_category_31868.html]

视频讲解：[https://www.bilibili.com/video/av36830483/?p=1][https_www.bilibili.com_video_av36830483_p_1]

白板推公式视频：[https://www.bilibili.com/video/av28186618][https_www.bilibili.com_video_av28186618]

--------------------

*  LDA主题模型

(Latent Dirichlet Allocation)是一种文档生成模型。它认为一篇文章是有多个主题的，而每个主题又对应着不同的词。一篇文章的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文章的第一个词。不断重复这个过程，就生成了整片文章。当然这里假定词与词之间是没顺序的。

参考文章： [https://www.jianshu.com/p/24b1bca1629f][https_www.jianshu.com_p_24b1bca1629f]

参考文章2：[https://www.cnblogs.com/pinard/p/6908150.html][https_www.cnblogs.com_pinard_p_6908150.html]

--------------------

*  **GBDT**

GBDT(Gradient Boosting Decision Tree)是boosting系列算法中的一个代表算法，它是一种迭代的决策树算法，由多棵决策树组成，所有树的结论累加起来作为最终答案。

参考文章1：[https://blog.csdn.net/yyy430/article/details/85108797][https_blog.csdn.net_yyy430_article_details_85108797]

参考文章2：[https://www.cnblogs.com/pinard/p/6140514.html][https_www.cnblogs.com_pinard_p_6140514.html]

--------------------

*  **长短时记忆网络(Long Short Term Memory Network, LSTM)**

**         ** 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。

参考文章：[https://zybuluo.com/hanbingtao/note/581764][https_zybuluo.com_hanbingtao_note_581764]

--------------------

*  ** 卷积神经网络（CNN，Convolutional Neural Networks）**

卷积神经网络（CNN，Convolutional Neural Networks）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络指的是该网络使用了卷积（Convolution）这种数学运算。卷积是一种特殊的线性运算。卷积网络是指至少在网络中一层使用卷积运算来替代一般的矩阵乘法运算的神经网络。

参考文章1： [https://www.cnblogs.com/skyfsm/p/6790245.html][https_www.cnblogs.com_skyfsm_p_6790245.html]

参考文章2：[https://www.zybuluo.com/hanbingtao/note/485480][https_www.zybuluo.com_hanbingtao_note_485480]

--------------------

*  **BERT模型**

参考文章：[https://www.cnblogs.com/rucwxb/p/10277217.html][https_www.cnblogs.com_rucwxb_p_10277217.html]

--------------------

*  **GPT2.0**

参考文章：[https://baijiahao.baidu.com/s?id=1625687461535561850&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1625687461535561850_wfr_spider_for_pc]

[webp]: /images/20220128/418435f02df54da7b7a81ecf4f7793c6.png
[https_www.cnblogs.com_pinard_p_6069267.html]: https://www.cnblogs.com/pinard/p/6069267.html
[https_baijiahao.baidu.com_s_id_1607469282626953830_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1607469282626953830&wfr=spider&for=pc
[http_www.blogjava.net_zhenandaci_category_31868.html]: http://www.blogjava.net/zhenandaci/category/31868.html
[https_www.bilibili.com_video_av36830483_p_1]: https://www.bilibili.com/video/av36830483/?p=1
[https_www.bilibili.com_video_av28186618]: https://www.bilibili.com/video/av28186618
[https_www.jianshu.com_p_24b1bca1629f]: https://www.jianshu.com/p/24b1bca1629f
[https_www.cnblogs.com_pinard_p_6908150.html]: https://www.cnblogs.com/pinard/p/6908150.html
[https_blog.csdn.net_yyy430_article_details_85108797]: https://blog.csdn.net/yyy430/article/details/85108797
[https_www.cnblogs.com_pinard_p_6140514.html]: https://www.cnblogs.com/pinard/p/6140514.html
[https_zybuluo.com_hanbingtao_note_581764]: https://zybuluo.com/hanbingtao/note/581764
[https_www.cnblogs.com_skyfsm_p_6790245.html]: https://www.cnblogs.com/skyfsm/p/6790245.html
[https_www.zybuluo.com_hanbingtao_note_485480]: https://www.zybuluo.com/hanbingtao/note/485480
[https_www.cnblogs.com_rucwxb_p_10277217.html]: https://www.cnblogs.com/rucwxb/p/10277217.html
[https_baijiahao.baidu.com_s_id_1625687461535561850_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1625687461535561850&wfr=spider&for=pc