Correlated Topic model 的Gibbs sampling

深藏阁楼爱情的钟 2022-07-14 12:15 170阅读 0赞

**原文来自师兄的博客：[http://blog.csdn.net/wjj5881005/article/details/53320577][http_blog.csdn.net_wjj5881005_article_details_53320577]**

*  关于经典LDA的theta
 *  Correlated Topic Model中的theta
 *  CTM的Gibbs sampling
    
     *  1 CTM中关于主题zz的采样
     *  2 CTM中关于文档主题分布参数eta的后验分布
     *  3 CTM中关于文档主题分布参数eta的Gibbs sampling
     *  4 CTM中对先验分布mu和Sigma的采样

# 1.关于经典LDA的θ #

自从David Blei 2003的一篇Latent Dirichlet Allocation文章横空出世之后，LDA模型就火遍全球了，无数的博士生就靠修改这个模型的图模型毕业了，呵呵，当然也包括我在内。在经典的LDA模型中，设置文档的主题分布是服从狄利克雷分布，即θ∼Dir(α)。这么做的主要原因是为了推导的方便，我们知道主题z是服从多项式分布的，即z∼Mult(θ)，此时狄利克雷分布就和多项式构成了共轭分布。为什么便于推导，我们可以感受一下[文献][Link 1]\[1\]中给出的关于p(z⃗ |α)。

p(z⃗ |α)=∫p(z⃗ |Θ)p(Θ|α)dΘ=∫\[∏m=1M∏k=1Kθnkmm,k\]\[1Δ(α)∏m=1M∏k=1Kθαk−1m,k\]dθ⃗ m=1Δ(α)∫∏m=1M∏k=1Kθnkm\+αk−1m,kdθ⃗ m=∏m=1MΔ(n⃗ m\+α⃗ )Δ(α⃗ ),n⃗ m=\{ nkm\}Kk=1,Δ(α)=\[Γ(α)\]KΓ(Kα)

![这里写图片描述][20161128100808742]  
上式中，很明显看到两个中括号中的形式非常相似，右边的中括号里的是狄利克雷分布，左边中括号里的是似然函数，是由多项式分布组织起来。这就是共轭分布的好处， ***推理简单***。然而，我们令  θ 服从狄利克雷分布的一个缺陷就是，不能建模各个主题的关系，这是由狄利克雷分布的性质导致的。下面我们我们介绍David Blei在2006年提出的一个新的模型Correlated Topic model。

# 2.Correlated Topic Model中的θ #

在实际中，主题之间并不是不相关的。例如一篇文档中如果有跟遗传学(genetics)有关的主题，那么非常有可能该篇文档也会涉及健康(health)以及疾病(disease)主题。而经典LDA中的狄利克雷分布，由于该分布自身的局限性，并不能很好的建模topics之间的correlation。为了解决这个问题，David Blei在2006年提出了Correlated Topic model（简称CTM）\[2\]，该模型为了考虑主题之间的关系，摒弃了标准LDA模型中的先验狄利克雷分布，而是使logistic Normal分布，使用正态分布中的协方差矩阵Σ建模各个主题之间的关系。具体地一篇文档d的生成过程如下：

ηd∼N(μ,Σ),θkd=eηkd∑Kj=1eηjd,∀n∈\{1,...,Nd\}:zdn∼Mult(θd),wdn∼Mult(Φzdn)

![这里写图片描述][20161128100937008]  
在文中，作者指出，该模型比LDA模型更具有表现力(expressive)。然而，问题来了，此时的先验与多项式分布并不是共轭分布，因此这会给模型求解带来了更大的困难（呵呵，这个世界总是不完美的）。Blei在文中使用的是近似推理（approximate techniques），也就是依赖于unwarranted mean-field assumptions的变分推理（variational inference）。此时，如果mean-field假设做的不好的话，那么近似的结果可能会令人unsatisfactory\[3\]。因此，近年来，有多位学者试图使用Gibbs sampling的方法来求解CTM模型。代表做有文献\[3\]\[4\]。文献\[4\]中的作者还强调了：Gibbs sampling is ***more accurate*** than variational inference and better supports the construction of composite models。关于and后面一句我的理解是：我们如果对LDA模型进行各种改进，使用Gibbs sampling的话求解不会困难太多，但是如果使用变分的话，推理起来可能就难度特别大。本文主要参考文献\[3\]介绍一下，CTM模型的吉布斯抽样方法。

# 3. CTM的Gibbs sampling #

首先我们给出***标准LDA模型***中关于主题z的抽样公式：

p(zdn=k|z⃗ −n,wdn=t,w⃗ −dn)=C(t)k,−n\+βt∑Vj=1\[C(j)k,−n\+βt\]⋅C(k)m,−n\+αk\[∑Kk=1C(k)m\+αk\]−1(1)

## 3.1 CTM中关于主题z的采样 ##

按照文献\[3\]，我们直接给出CTM模型中关于主题z的抽样公式，如下：

p(zdn=k|z⃗ −n,wdn=t,w⃗ −dn)=C(t)k,−n\+βt∑Vj=1\[C(j)k,−n\+βt\]⋅eηkd∑Kj=1eηjd(2)

对比公式（1）和公式（2），我们发现区别就在于等式右边的第二项，二者都表示文档  d 中主题  k 所占的比例，但是因为所使用的先验不同，导致最终的式子不同。在标准LDA中，因为我们可以将  θ 积分掉（一般文献里称为integrated out），所以我们不需要对  θ 进行抽样，而在CTM中，因为是非共轭先验，所以  θ 积不掉，也就是  η 积不掉，因此我们需要对  η 进行抽样，这也就是使用Gibbs sampling求解CTM模型的核心。

## 3.2 CTM中关于文档主题分布参数η的后验分布 ##

在文档d中观测到主题k的概率为：

p(zdn=k)=eηkd∑Kj=1eηjd(3)

很明显，在给定  Z 的情况下，这是一个多项式逻辑回归，  Z 是多项式观测值(multinomial observations)。因此观测到所有文档中的主题的似然概率函数为：

p(Z|η)=∏d=1D⎛⎝∏n=1Ndeηzdnd∑Kj=1eηjd⎞⎠(4)

加上先验，  η 的后验分布为：

p(η|Z,W)∝∏d=1D⎡⎣⎛⎝∏n=1Ndeηzdnd∑Kj=1eηjd⎞⎠N(ηd|μ,Σ)⎤⎦(5)

公式(5)就是一个贝叶斯逻辑回归模型。因此我们可以在现有文献中寻找求解多项式逻辑回归模型的方法来抽样  eta ，例如文献\[4\]中提出可以参考文献\[5\]中的方法。本文主要介绍文献\[3\]中年给出的方法。这里为了方便描述，我们只考虑文档  d （事实上，在给定  Z 的情况下，其它文档对文档  d 的主题分布参数  ηkd 并没有影响，因此我们可以treat documents seperately）。依据文献\[6\]，可以得到在能够观测到  Z 以及  η−kd 的情况下  ηkd 的似然函数，如下所示：

L(ηkd|Zd,η−kd)=∏n=1Nd(eρkd1\+eρkd)zkdn(11\+eρkd)1−zkdn=(eρkd)Ckd(1\+eρkd)Nd(6)

其中  ρkd=ηkd−ζkd ;  ζkd=log(∑j≠keηjd) ；并且  Ckd=∑Ndn=1zkdn 表示文档  d 中属于主题  k 的单词的数量。因此，加上  ηkd 的先验分布，我们就可以得到  ηkd 的后验分布，如下所示：

p(ηkd|η−kd,Z,W)∝L(ηkd|η−kd,Z)N(ηkd|μkd,σ2k)(7)

其中  μkd=μk−Λ−1kkΛk,−k(η−kd−μ−k) 以及  σ2k=Λ−1kk 。  Λ=Σ−1 是正态分布的precision matrix。

## 3.3 CTM中关于文档主题分布参数η的Gibbs sampling ##

上一小节给出了文档主题分布参数ηkd的后验分布。因为非共轭性，导致我们无法直接根据后验分布形式进行采样。一般情况下，我们可以采用MH（Metropolis-Hastings）算法对参数ηkd进行采样，但是MH算法会存在两个问题：一个是我们需要指定一个合理建议分布（proposal distribution），这个不太好办；另一个就是接受率的问题，如果接受率过低会导致最终的采样非常缓慢。另一个种根据此后验分布进行采样的思路就是使用Data augmentation技术。例如文献\[4\]中使用的数据增加方法使得我们可以截断高斯分布中进行采样，但是文献\[3\]指出，该方法依然涉及到复杂的accept/reject strategies。本文介绍文献\[3\]中提出的方法，它是一个不需要指定建议分布并且简单精确地抽样方法，方法核心是参考文献\[7\]。首先根据文献\[7\]我们可以给出如下定理。

> 定理1（Scale Mixture Representation）.似然函数L(ηkd|η−kd,Z)可以表示为
> 
> (eρkd)Ckd(1\+eρkd)Nd=12Ndeκkdρkd∫∞0e−λkd(ρkd)22p(λkd|Nd,0)dλkd
> 
>   
> 其中  κkd=Ckd−Nd/2 并且  p(λkd|Nd,0) 是Polya-Gamma分布  PG(Nd,0)

其中是λkd辅助变量。从该定理中，我们很容易可以发现p(ηkd|η−kd,Z,W)是公式(8)联合分布p(ηkd,λkd|η−kd,Z,W)的边缘分布。

p(ηkd,λkd|η−kd,Z,W)∝12Ndexp(κkdρkd−λkd(ρkd)22)N(ηkd|μkd,σ2k)(8)

基于公式(8)，我们就可以交替采样  ηkd 和  λkd 。在给定  λkd 的情况下（即discarding辅助变量），我们就可以根据后验分布  p(ηkd|η−kd,Z,W) 得到采样样本。具体地， ***对于ηkd***，有：

p(ηkd|η−kd,Z,W,λ−kd)∝exp(κkdηkd−λkd(ρkd)22)N(ηkd|μkd,σ2k)=N(γkd|μkd,(τkd)2)(9)

其中后验均值为  μkd=(τkd)2(σ−2kμkd\+κkd\+λkdζkd) 并且后验分布的方差为  (τkd)2=(σ−2k\+λkd)−1 。这时候，从一元正态分布中进行采样就变得极其简单了，一般都有现成的采样代码。  
***对于λkd***，有：

p(λkd|η,Z,W,)∝exp(−λkd(ρkd)22)p(λkd|Nd,0)=PG(λkd;Nd,ρkd)(10)

可以很容易看出，  λkd 的后验分布依然是ploya-Gamma分布。剩下的就是关于如何从PG分布中进行采样了。文献\[7\]中给出了一种从PG中进行采样的方法。

> 定理2（PG分布的可加性）假如xi∼PG(1,ρ)并且y=∑ni=1xi，那么有y∼PG(n,ρ)

因此从PG(Nd,ρkd)中采样就是从PG(1,ρkd)抽样Nd个样本然后想加就是我们需要的λkd。Nd一般是文档d中单词的数量。因为Nd经常是非常大，这会导致抽样变得非常慢，所以也可以取M≪Nd个样本来代替，一般效果也不会太大。文献\[7\]同时给出了如何高效地从PG(1,ρkd)中抽取样本。  
虽然文献\[7\]中的方法已经很赞，但是这里我们要介绍的文献\[3\]中的方法更加地赞。根据[中心极限定理][Link 2]，当Nd足够大时，y服从正态分布。即有：

λkd∼N(μkd,(σkd)2)(11)

文献\[8\]中给出了  PG(a,c) 分布的矩母函数为

f(t)=E\[exp(λkdt)\]=cosha(c/2)cosha(c2−2t√2)(12)

因此我们可以根据矩母函数求解  PG(a,c) 分布的均值和方差，并将此均值方差当做正态分布的均值和方差。

E\[λkd\]=limt→0f′(t)=a2ctanh(c2)(13)E\[(λkd)2\]=limt→0f′′(t)=a(−(2\+a)c2\+ac2cosh(c)\+2csinh(c))8c4cosh(c2)2(14)

根据  Var(λkd)=E\[(λkd)2\]−E\[λkd\]2 就可以求得正态分布的近似方差。到这里，整个CTM的Gibbs推导就介绍完了，再下一小节我们介绍如何采样  η 的先验正态分布中的参数。

## 3.4 CTM中对先验分布μ和Σ的采样 ##

我们将μ和Σ也看成是随机变量，并且再上面加共轭的Normal-Inverse-Wishart先验，即π(μ,Σ)=NIW(μ0,ρ,κ,W)，具体为：

Σ|κ,W−1∼IW(κ,W−1),μ|Σ,μ0,ρ∼N(μ0,Σ/ρ)(15)

根据观测到的  η 和  Z ，我们可以求得  μ 和  Σ 的后验分布，如下所示：

p(μ,Σ|η,Z,W)∝π(μ,Σ)∏dp(ηd|μ,Σ)=NIW(μ′0,ρ′,κ′,W′)(16)

具体地参数更新公式为：  μ′0=ρρ\+Dμ0\+Dρ\+Dη¯ ，  ρ′=ρ\+D ，  κ′=κ\+D 并且  W′=W\+Q\+ρDρ\+D(η¯−μ0)(η¯−μ0)T ，其中  η¯=1D∑dηd 以及  Q=∑d(ηd−η¯)(ηd−η¯)T 。  
关于这四个参数的初始化可以设：  ρ=κ=0.01D,μ0=0,andW=κI 。

全文终。

\[1\] Gregor Heinrich, Parameter estimation for text analysis  
\[2\] David Blei, Correlated Topic Models  
\[3\] Jianfei Chen, Jun Zhu, et al., Scalable Inference for Logistic-Normal Topic Models  
\[4\] David Mimno et al., Gibbs Sampling for Logistic Normal Topic Models with Graph-Based Priors  
\[5\] P. C. Groenewald & L. Mokgatlhe. Bayesian computation for logistic regression  
\[6\] C. Holmes and L. Held. Bayesian auxiliary variable models for binary and multinomial regression  
\[7\] N. G. Polson, J. G. Scott, and J. Windle. Bayesian inference for logistic models using Polya-Gamma latent variables  
\[8\] N. G. Polson and J. G. Scott. Default bayesian analysis for multi-way tables:  
a data-augmentation approach

[http_blog.csdn.net_wjj5881005_article_details_53320577]: http://blog.csdn.net/wjj5881005/article/details/53320577
[Link 1]: http://arbylon.net/publications/text-est2.pdf
[20161128100808742]: /images/20220714/20313d4cc54d4ea89f20a40a32fac4b0.png
[20161128100937008]: /images/20220714/43e1ec5de909417a80d00c522523f0e0.png
[Link 2]: http://baike.baidu.com/link?url=CERCYekNhagwnqnLoXHBzVLDV1KqeyfolZsjmiflXchIKgXftbFl-jlX-6PxWQDCd6NA_FJv_1Sn-hKWzFKB0OI-9sFAoHjYe8m_0RCI7AyEgpeE3B5uzmfpeQjPJmjMIvgk87N6KYQWd61x1E94ZK