Skip-Gram模型目标函数详细推导

傷城~ 2022-03-15 12:28 239阅读 0赞

我们拿这句话进行举例:  
I like playing football.

下面看一下具体的推理过程：  
1.假设我们有一个长度为V的词库θ，那目标函数为：  
![在这里插入图片描述][20190302170319380.png]  
其中w为中心词，c为上下文单词

2.然后我们可以一项log，得到：  
![在这里插入图片描述][20190302181240687.png]  
3.将P(c|w)展开，可得：  
![在这里插入图片描述][20190302181526493.png]  
4.将其简化，最后可得:  
![在这里插入图片描述][20190302181104408.png]

由于其中有一项 i ∈ V ，会导致算法时间复杂度很高，所以该目标函数我们可以归纳为 Nagative Sampling，在实际使用中我们需要使用Monte Carlo随机采样进行处理。

我们在回头看到的例子上：  
I like playing football.

比如我们要考虑window size = 2,那我们可以得到以下训练样本：

*  (I, like)
 *  (I, playing)
 *  (like, I)
 *  (like, playing)
 *  (like, football)
 *  (playing, I)
 *  (playing, like)
 *  (playing, football)
 *  …

前面的推导部分说过，直接处理时间复杂度太高，所以在此我们引申出Nagative Sampling的处理方法。  
我们可以设定一个 P(D=1|w,c,θ)  
w指中心词，c指上下文，θ指(w, c)是否为语料库中的positive Sample

例如 P(D=1|I, like)、P(D=1|I, much)、P(D=0|I, much)  
因为(I, like)存在于语料库中，而(I, much)不存在于语料库中，所以我们希望 P(D=1|I, like)和P(D=0|I, much)的概率越大越好，而P(D=1|I, much)的概率越小越好。  
根据这个定义，我们可以重新表达我们的目标函数  
![在这里插入图片描述][20190302175144113.png]  
因为u\_c \* v\_w的值并不是在0~1之间，我们需要使它的值保持在(0,1)，可以套一层逻辑函数，这样就变成了  
![在这里插入图片描述][20190302180054369.png]  
然后加一项log  
![在这里插入图片描述][20190302180650848.png]  
简化后可得  
![在这里插入图片描述][20190302180758836.png]

在实际使用时，因为正样本的数量会远远少于负样本的数量(有很多负样本根本不会出现在文本中)，所以我们引入**Nagetive Sampling**，我们在对正样本进行采样时，同时对该中心词的一些负样本进行采样，这样上述公式可转变为如下形式  
![在这里插入图片描述][20190302182712389.png]

[20190302170319380.png]: /images/20220315/d575d702c5c449ee841569901335d648.png
[20190302181240687.png]: /images/20220315/c3924f47314d4500b5e4f0fcdeba64e8.png
[20190302181526493.png]: /images/20220315/d23c4bd55dee44df93bc74ad3e1ab473.png
[20190302181104408.png]: /images/20220315/09478a65ff024cbdb9fa0c5d925ecde5.png
[20190302175144113.png]: /images/20220315/36236757ed4b43cb8baac9d2d2732665.png
[20190302180054369.png]: /images/20220315/3bcbbc4438d54abea31e06710c1a6200.png
[20190302180650848.png]: /images/20220315/9e08934922f44e0882e9c6c426c0ad79.png
[20190302180758836.png]: /images/20220315/c42749f94efb48db98f04127be709c62.png
[20190302182712389.png]: /images/20220315/ed7195a0774b4a838aa9003708faa9e2.png