隐语义模型（简介）

浅浅的花香味﹌ 2022-05-27 10:22 177阅读 0赞

隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。

对于一个用户来说，他们可能有不同的兴趣。就以作者举的豆瓣书单的例子来说，用户A会关注数学，历史，计算机方面的书，用户B喜欢机器学习，编程语言，离散数学方面的书， 用户C喜欢大师Knuth, Jiawei Han等人的著作。那我们在推荐的时候，肯定是向用户推荐他感兴趣的类别下的图书。那么前提是我们要对所有item（图书）进行分类。那如何分呢？大家注意到没有，分类标准这个东西是因人而异的，每个用户的想法都不一样。拿B用户来说，他喜欢的三个类别其实都可以算作是计算机方面的书籍，也就是说B的分类粒度要比A小；拿离散数学来讲，他既可以算作数学，也可当做计算机方面的类别，也就是说有些item不能简单的将其划归到确定的单一类别；拿C用户来说，他倾向的是书的作者，只看某几个特定作者的书，那么跟A，B相比它的分类角度就完全不同了。

对于一个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品。这里要解决3个问题：

*  如何给物品分类？
 *  如何确定用户对哪些类感兴趣，以及感兴趣的程度？
 *  对于一个给定的类，选择哪些属于这个类的物品推荐给用户，以及如何确定这些物品在该类中的权重？

LFM解决这些问题的方法：

*  根据用户的行为实现物品的自动聚类。如果2个物品被很多用户同时喜欢，那么他们属于一个隐类的概率很大。
 *  用户的兴趣通过用户的行为统计得到。
 *  在一个隐类中，如果一个物品被很多用户喜欢，那么它必定权重较大。

对于一个给定的用户行为数据集（数据集包含的是所有的user, 所有的item，以及每个user有过行为的item列表），使用LFM对其建模后，我们可以得到如下图所示的模型：（假设数据集中有3个user, 4个item, LFM建模的分类数为4）

![20130812142043312][]

其中，R矩阵是user-item兴趣度矩阵，矩阵值Rij表示的是user i 对item j的兴趣度；P是user-class兴趣度矩阵，Pij表示user i对class j的兴趣度；Q是item-class权重矩阵，Qij表示class i中item j的权重。

LFM通过如下公式计算用户u对物品i的兴趣度：

![Center][]

该公式中， ![Center 1][]， ![Center 2][]是LFM模型的参数，表示矩阵P，Q中的值，需要估计它们的值。

要估计参数值，首先必须要有一个训练样本集，针对每个用户，选择用户的行为数据集作为正样本，正样本中都是用户发生过行为（喜欢）的物品，设 ![Center 3][]=1。然后还需要选择一些数据作为负样本，选择负样本的原则：1、对于一个用户，要保证正、负样本的数量相近；2、对一个用户采样负样本时，要选择那些很热门、而用户没有发生行为的物品（很热门而用户却没有发生行为，更能说明用户不喜欢，冷门物品用户可能根本没有看到），负样本的物品，设 ![Center 3][]=0。

LFM的损失函数仍然是平方差+正则项，如下：

![Center 4][]

其中，后面的正则项是为了防止过拟合，参数lamda通过实验可以得到。

通过最小化损失函数C来估计参数，采用梯度下降法来训练模型。

梯度下降法首先需要计算损失函数C的偏导数：

![Center 5][]

![Center 6][]

根据梯度下降法，需要将待估计参数pp沿着最速下降方向（梯度的反方向）向前推进，即：pp = pp - gradient，因此可以得到如下参数更新公式：

![Center 7][]（k=1，2，……，K）

![Center 8][]（k=1，2，……，K）

LFM模型训练就是参数不断更新直至收敛的过程，步骤如下：

1、初始化参数矩阵P、Q。给矩阵中待估计的参数设置一个初始值，可以为每个参数设置一个相同的概率均值。

2、初始化LFM模型的其他参数，包括：隐类的个数K，学习率 ![Center 9][]的初始值， ![Center 10][]的初始值。其中，K的值不能太大，也不能太小，它控制的是粒度的粗细程度； ![Center 9][]与 ![Center 10][]的取值可以根据应用场景取一个合适的初始值。

3、模型训练。

一次迭代的步骤：

训练时，一个用户一个用户的依次迭代：

先从训练样本集中取用户u1的数据：

![Center 11][]

从该数据集中依次选取一个 ![Center 12][]，更新 ![Center 13][]， ![Center 14][]                                的值。N个item， ![Center 15][]要更新N次， ![Center 16][]要更新1次。

再依次用其他用户u2，u3，…数据不断更新参数。

一次迭代完成后，得到一个P、Q，并得到损失函数C的一个值。

不断的多次迭代，直至损失函数C的值收敛（或者，循环结束条件设为一个迭代次数N，迭代N次后结束）。

LFM的伪代码可以表示如下：

**\[python\]**  [view plain][] [copy][view plain]

1.    
    def LFM(user\_items, F, N, alpha, lambda):  
2.    
        \#初始化P,Q矩阵  
3.    
        \[P, Q\] = InitModel(user\_items, F)  
4.    
        \#开始迭代  
5.    
        For step in range(0, N):  
6.    
            \#从数据集中依次取出user以及该user喜欢的iterms集  
7.    
            for user, items in user\_item.iterms():  
8.    
                \#随机抽样，为user抽取与items数量相当的负样本，并将正负样本合并，用于优化计算  
9.    
                samples = RandSelectNegativeSamples(items)  
10.   
                \#依次获取item和user对该item的兴趣度  
11.   
                for item, rui in samples.items():  
12.   
                    \#根据当前参数计算误差  
13.   
                    eui = eui - Predict(user, item)  
14.   
                    \#优化参数  
15.   
                    for f in range(0, F):  
16.   
                        P\[user\]\[f\] += alpha * (eui * Q\[f\]\[item\] - lambda \* P\[user\]\[f\])  
17.   
                        Q\[f\]\[item\] += alpha * (eui * P\[user\]\[f\] - lambda \* Q\[f\]\[item\])  
18.   
            \#每次迭代完后，都要降低学习速率。一开始的时候由于离最优值相差甚远，因此快速下降；  
19.   
            \#当优化到一定程度后，就需要放慢学习速率，慢慢的接近最优值。  
20.   
            alpha \*= 0.9  
21.

[20130812142043312]: /images/20220527/a2a1789827634a70abe38988c84b0016.png
[Center]: /images/20220527/f91efee4f5f54c199b95a5954c25af56.png
[Center 1]: https://img-blog.csdn.net/20151112194235222?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 2]: /images/20220527/a0c00de8c9a2437ebc089dfc96d6f0d5.png
[Center 3]: /images/20220527/091876e3a8b14269a508c1b8e39bb183.png
[Center 4]: /images/20220527/bb18c7ffc2014303b82f0e7abbf21ba2.png
[Center 5]: /images/20220527/3822eff8349147c8baafcb3ce1f890c8.png
[Center 6]: /images/20220527/b22c8ebcd060462cb784935249b364c7.png
[Center 7]: /images/20220527/3bf373f57db84011bbd103c61a17100a.png
[Center 8]: /images/20220527/5d3114a575934371b17713b18b59dca0.png
[Center 9]: https://img-blog.csdn.net/20151112204739244?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 10]: /images/20220527/75f460945e884a2db657db8627af4b80.png
[Center 11]: /images/20220527/8ec8088cc441442c881dfa79b2f15ec2.png
[Center 12]: https://img-blog.csdn.net/20151112210525861?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 13]: https://img-blog.csdn.net/20151112210716453?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 14]: https://img-blog.csdn.net/20151112210912274?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 15]: https://img-blog.csdn.net/20151112211526434?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 16]: /images/20220527/ce66a98b216c4dc99150ef3799e367da.png
[view plain]: http://blog.csdn.net/harryhuang1990/article/details/9924377#