【机器学习】LDA算法 (主题模型算法)

绝地灬酷狼 2022-06-02 12:50 163阅读 0赞

随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系列优点。本文对LDA算法进行介绍，欢迎批评指正。

本文目录：

1、Gamma函数

2、Dirichlet分布

3、LDA文本建模

4、吉普斯抽样概率公式推导

5、使用LDA

1、Gamma函数

T(x)= ∫ tx-1 e-tdt    T(x+1) = xT(x)

若x为整数，则有 T(n) = (n-1)!

2、Dirichlet分布

这里抛出两个问题：

问题1： (1) X1, X2......Xn 服从Uniform(0,1)

(2) 排序后的顺序统计量为X(1), X(2), X(3)......X(n)

(3) 问X(k1)和X(k1+k2)的联合分布式什么

把整个概率区间分成\[0,X1) ,  \[X1, X1+Δ),   \[X1+Δ, X1+X2),    \[X1+X2, X1+X2+Δ),     \[X1+X2+Δ,1\]

X(k1) 在区间\[X1, X1+Δ), X(k1+k2) 在区间\[X1+X2, X1+X2+Δ)。 我们另X3 = 1-X1-X2.

则，

![430341-20151205001020518-46197674.png][]

即Dir(x1, x2, x3| k1, k2, n-k1-k2+1)

问题2： (1) X1, X2......Xn 服从Uniform(0,1), 排序后的顺序统计量为X(1), X(2), X(3)......X(n)

(2) 令p1 = \[0, X(k1)\], p2 = \[X(k1), X(k1+k2)\], p3 = 1-p1-p2

(3) 另外给出新的信息， Y1, Y2.....Ym服从Uniform(0, 1), Yi落到\[0,X(k1)\],  \[X(k1), X(k1+k2)\], \[X(k1+k2), 1\]的数目分别是m1, m2, m3

(4) 问后验概率 p(p1,p2,p3|Y1,Y2,....Ym)的分布。

其实这个问题和问题1很像，只是在同样的范围内多了一些点而已。 因此这个概率分布为 Dir(x1,x2,x3| k1+m1, k2+m2, n-k1-k2+1+m3)。

我们发现这么一个规律     Dir(p|k) + multCount(m) = Dir(p|k+m)。 即狄利克雷分布是多项分布的共轭分布。

狄利克雷分布有这么一个性质：如果![430341-20151205125451783-331399215.png][]则，

![430341-20151205125224705-538548662.png][]

3、 LDA文本建模

首先我们想一篇文章是如何形成的：作者在写一篇文章的时候首先会想这个文章需要包含什么主题呢。比如在写武侠小说的时候，首先会想小说里边需要包含武侠、爱情、亲情、搞笑四个主题。并且给这四个主题分配一定的比例（如武侠0.4，爱情0.3，亲情0.2，搞笑0.1）。每个主题会包含一些word，不同word的概率也是不一样的。 因此我们上帝在生成一篇文章的时候流程是这个样子的：

（1）上帝有两个坛子的骰子，第一个坛子装的是doc-topic骰子，第二个坛子装的是topic-wod骰子。

（2）上帝随机的从二个坛子中独立抽取了k个topic-doc骰子，编号1-K。

（3）每次生成一篇新的文档前，上帝先从第一个坛子中随机抽取一个doc-topic骰子，然后重复如下过程生成文档中的词。

<1>、投掷这个doc-topic骰子，得到一个topic的编号z。

<2>、选择K个topic-word骰子中编号为z的的那个，投掷这个骰子， 于是就得到了这个词。

假设语料库中有M篇文章， 所有的word和对应的topic如下表示：

![430341-20151205145545736-788724921.png][]

我们可以用下图来解释这个过程:

![430341-20151205145941049-1732656704.png][]

一共两个物理过程：

第一个过程: ![430341-20151205152914174-1110222184.png][]，这个过程分两个阶段。第一个阶段是上帝在生成一篇文档之前，先抽出一个主题分布的骰子![430341-20151205154806861-392693941.png][]，这个分布选择了狄利克雷分布（狄利克雷分布是多项分布的共轭分布）。 第二个阶段根据![430341-20151205154922830-1342503168.png][]来抽样得到每个单词的topic。这是一个多项分布。 整个过程是符合狄利克雷分布的。

第二个过程:![430341-20151205155405455-1828649901.png][],这个过程也分两个阶段。第一个阶段是对每个主题，生成word对应的概率，即选取的骰子![430341-20151205155648908-1914145385.png][]，这个分布也是选择了狄利克雷分布。 第二个阶段是根据![430341-20151205155721939-241810355.png][]，对于确定的主题选择对应的word,这是一个多项分布。因此，整个过程是狄利克雷分布。

4、吉普斯抽样概率公式推导

LDA的全概率公式为: ![430341-20151205160206049-2045740418.png][]。 由于![430341-20151205160329533-1330006835.png][]是观测到的已知数据，只有![430341-20151205160452111-538028688.png][]是隐含的变量，所以我们需要关注的分布为：![430341-20151205161229064-533525371.png][]。 我们利用Gibbs Sampling进行抽样。 我们要求的某个位置i(m,n)对应的条件分布为 ![430341-20151205161606158-1841288898.png][]。

![430341-20151205163610658-1105131387.png][]

![430341-20151205163811658-416603445.png][]是一个定值，因此原公式成立。

下边是公式![430341-20151205164040924-1250110235.png][]的推导:

![430341-20151205170532611-4775422.png][]

又由于根据狄利克雷分布的特性：

![430341-20151206113011096-1635598662.png][]

抽样的时候，首先随机给每个单词一个主题，然后用![430341-20151206113303861-1901721958.png][]和![430341-20151206113324080-666130056.png][]进行Gibbs抽样，抽样后更新这两个值，一直迭代到收敛（EM过程）。

至此抽样就结束了。

5、使用LDA

抽样结束后，我们可以统计![430341-20151206113303861-1901721958.png][]和![430341-20151206113324080-666130056.png][]来得到![430341-20151206114505627-570059193.png][]和![430341-20151206114607783-62048664.png][]。

对于LDA我们的目标有两个：

(1)得到文章库中每篇文章的主题分布![430341-20151206114505627-570059193.png][]

(2)对于一篇新来的文章，能得到它的主题分布![430341-20151206114505627-570059193.png][]。

第一个目标很容易就能达到。下面主要介绍如果计算 一篇新文章的主题分布。这里我们假设![430341-20151206113324080-666130056.png][]是不会变化的。因此对于一篇新文章到来之后，我们直接用Gibbs Sampling得到新文章的![430341-20151206114505627-570059193.png][]就好了。 具体抽样过程同上。

由于工程上![430341-20151206113303861-1901721958.png][]对于计算新的文章没有作用，因此往往只会保存![430341-20151206113324080-666130056.png][]。

[430341-20151205001020518-46197674.png]: /images/20220602/cd537b05754e4095852e7bebf2faaf03.png
[430341-20151205125451783-331399215.png]: /images/20220602/cd9c934c5eb44263ac50e9c73b6141c8.png
[430341-20151205125224705-538548662.png]: /images/20220602/e24bb4c5c04f47cba27c6f2b791daa4f.png
[430341-20151205145545736-788724921.png]: /images/20220602/a6376bcee07543c19899f9c8e4b2b616.png
[430341-20151205145941049-1732656704.png]: /images/20220602/8c54b6f6b19b4445b53321d182bb0df9.png
[430341-20151205152914174-1110222184.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205152914174-1110222184.png
[430341-20151205154806861-392693941.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205154806861-392693941.png
[430341-20151205154922830-1342503168.png]: /images/20220602/184aff8b2e5347f2a36234e36f717f75.png
[430341-20151205155405455-1828649901.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205155405455-1828649901.png
[430341-20151205155648908-1914145385.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205155648908-1914145385.png
[430341-20151205155721939-241810355.png]: /images/20220602/be073faab9d94555bf267325ee86be7e.png
[430341-20151205160206049-2045740418.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205160206049-2045740418.png
[430341-20151205160329533-1330006835.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205160329533-1330006835.png
[430341-20151205160452111-538028688.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205160452111-538028688.png
[430341-20151205161229064-533525371.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151205161229064-533525371.png
[430341-20151205161606158-1841288898.png]: /images/20220602/e3d1633e262a40c884d9b3a446ecfd38.png
[430341-20151205163610658-1105131387.png]: /images/20220602/6843ebdf95f3434e9c20b7f9c86c60f7.png
[430341-20151205163811658-416603445.png]: /images/20220602/9153dfa032e84cbb94911e883403a409.png
[430341-20151205164040924-1250110235.png]: /images/20220602/7929f1d2f1b34ff88d8c898921c19d5b.png
[430341-20151205170532611-4775422.png]: /images/20220602/e9d3bcde71624703912f8e2284270d3e.png
[430341-20151206113011096-1635598662.png]: /images/20220602/f93a1c92afd44a829222f895e5ac5d43.png
[430341-20151206113303861-1901721958.png]: https://images2015.cnblogs.com/blog/430341/201512/430341-20151206113303861-1901721958.png
[430341-20151206113324080-666130056.png]: /images/20220602/42da7dbfa9344c13b45f74c067b95f8a.png
[430341-20151206114505627-570059193.png]: /images/20220602/1a38092d4d65412cb37e6dfe1a6d3d56.png
[430341-20151206114607783-62048664.png]: /images/20220602/30d2e5b0067049ab84ccb356d07bedc3.png