推荐系统遇上深度学习(一二三)-[阿里]去噪用户感知记忆网络DUMN

待我称王封你为后i 2022-09-12 05:49 650阅读 0赞

![dba4584d474be6fd68f35950ef63d903.png][]

首先祝大家中秋快乐，咱们的系列文章今天终于更新啦！今天给大家带来阿里在RecSys2021上中稿的一篇论文，同样关注的是对用户行为序列的建模。论文两个主要的创新点分别是对隐式反馈的去燥处理以及保存用户层面长期偏好的记忆网络，一起来看一下。

# 1、背景 #

CTR预估的一大关键点是通过用户的历史反馈建模用户的兴趣。用户反馈主要分为显式反馈和隐式反馈。显式反馈能够直接反应用户的偏好信息，具有较少的噪声，如用户的评分、收藏、不喜欢等行为，这类行为往往是比较稀少的；隐式反馈如点击/未点击行为，尽管较为丰富，但是存在一定的噪声。如点击行为中存在一定的误点击，而未点击中也有可能包含用户比较感兴趣的物品。过去的研究如DIN、DIEN大都只使用用户的点击行为序列，没有使用更为丰富的用户反馈信息，同时也忽略了对点击这类隐式反馈的去噪处理。

除未考虑噪声外，DIN、DIEN这类方法也难以有效建模用户的长期偏好。这里用户的长期偏好是指用户在很长一段时间内的行为偏好，通常是比较稳定的。目前的方法如DIN、DIEN往往通过增加用户点击序列长度来建模长期偏好，然而却存在以下几方面的问题：  
1）首先，出于耗时等性能因素的考虑，DIN、DIEN大都只使用固定长度的用户行为序列。同时，这类方法都认为用户的长期偏好是item层面的，即item反映了用户的长期偏好。相反，论文则认为用户的长期偏好应该是用户层面的，即用户的长期偏好应主要反映在用户画像上。例如，拥有宠物的用户可能会定期购买宠物用品，但这些偏好不一定会反映在短期的用户行为当中。  
2）其次，固定长度的历史行为难以刻画用户的长期偏好，那么可以通过记忆网络等方法如MIMN，使用更长的用户历史行为进行刻画。但是这类方法仍然只考虑了用户的点击行为序列，而用户的显式反馈以及未点击行为序列同样可以帮助建模用户的长期偏好。  
因此，综合以上两点，用户的长期行为偏好应该结合用户画像以及用户的历史行为进行综合刻画，而行为应同时考虑显式反馈和隐式反馈。

针对以上几点挑战，论文提出了去噪用户感知记忆网络DUMN（denoising user-aware memory network），来对隐式反馈的进行去噪处理以及对用户长期兴趣进行建模。接下来，对DUMN进行详细介绍。

# 2、DUMN介绍 #

DUMN的整体结构如下图所示，可以看到，主要包含四个模块：embedding layer、FP layer(Feature Purification Layer)、UMN layer(User Memory Network Layer)和PAIR layer(Preference-aware Interactive Representation Component  
)。首先，embedding layer将user特征、ad特征、click序列、unclick序列、like序列和dislike序列作为输入，并转换为对应的embedding；其次，FP layer通过注意力机制对用户多种行为序列进行建模，同时使用正交映射对隐式反馈进行去噪处理；随后，UMN layer通过记忆网络来建模用户的长期兴趣；最后，PAIR layer将用户的短期兴趣和长期兴趣表示进行结合，并通过全连接网络得到CTR预估值。接下来，对DUMN的各模块进行介绍。

![6846fd1f2ce659528392ab9f5f679fda.png][]

## 2.1 embedding layer ##

embedding layer将user特征、ad特征、click序列、unclick序列、like序列和dislike序列作为输入，并转换为对应的embedding。其中，user特征和ad特征的输出分别用euser和eitem表示，四个序列的输出分别用ec,eu,el,ed表示。

## 2.2 FP layer ##

FP layer主要包含两部分。首先，通过Multi-head Interaction-attention Component来得到每种行为序列的聚合向量。如下图所示：

![a72b5227de92e45874a14bd003626221.png][]

可以看到，Multi-head Interaction-attention Component包含了两层的attention，第一层是multi-head self-attention建模序列中item之间的相互关系，第二层则是建模序列中序列中每一个item与target item的相关性权重，并对序列中的每个item进行加权聚合。以点击序列为例，计算过程如下：

![cde2d56be5beb99c979d94476f92d1d6.png][]

![d4891d4de2e0c161b405dcce45775670.png][]

![03bec03a6fbc29b70ff3dafae6a01d74.png][]

其中，Oc代表点击序列在self-attention模块的输出，而fc则代表Multi-head Interaction-attention Component最终的输出结果。

得到每种行为序列的聚合向量后，接下来通过Feature Orthogonal Mapping Component来对隐式反馈进行去噪处理。由于用户的显式反馈能够直接反应用户的喜欢/不喜欢信息，因此可以使用显式反馈对隐式反馈进行去噪。具体地，将用户的四种行为序列拆分为两组，即<click,dislike>和<unclick,like>，用向量表示分别为<fc,fd>和<fu,fl>。以<fc,fd>为例，如下图所示：

![1741dbaa890ac45726886be1c9852b1e.png][]

使用fc向fd进行投影，投影的向量fcp代表用户点击行为中不喜欢的部分，那么fc-fcp即可以看作是去除点击行为中噪声后得到的向量。计算过程如下表示：

![d50930b6eb27b32d42d5291cff5b1ff1.png][]

![6609a2eba0a3234705b7c4b999d5f9f0.png][]

同样，我们可以得到用户未点击序列的去噪向量，用fuo表示。

FP layer的输出可以看作是用户短期偏好的表示。

## 2.3 UMN layer ##

前面也提到，用户的长期行为偏好应该结合用户画像以及用户的历史行为进行综合刻画，而行为应同时考虑显式反馈和隐式反馈。因此，在基本的memory network的基础上，论文设计的UMN layer做了如下改进：  
1）首先，设计了4个记忆网络分别来存储用户的点击、未点击、喜欢、不喜欢偏好，分别计作Mc，Mu，Ml，Md，每一个记忆网络都包含m个长度为Z的记忆向量。  
2）其次，记忆网络的controller的输入包含用户特征的embedding以及FP层的得到的输出。

以Mc为例，记忆读取和写入的过程如下（有关记忆网络的细节，本文不再进行具体介绍）：

memory read

首先，controller生成read key：

![790777797eb029c22a2860df7ebc01ad.png][]

其次，与记忆网络中每一个记忆向量计算相关性：

![1b49692a2265b1a993133913a37c9265.png][]

最后，对记忆向量进行加权求和，得到记忆网络的输出：

![cd1a3b6f689accb5bfa35ce033ce83f8.png][]

memory write

除了对记忆进行读取外，每次新的记录到来，需要对记忆网络中的记忆向量进行更新。在更新时，权重向量wcr的生成同记忆读取过程，同时，还会生成add key和erase k，并通过如下的公式对记忆进行更新：

![37502081b187b91a8b99ae0ff89dd525.png][]

![4fbd20d7db3cf05394a1dccd6eac3a77.png][]

![956c7dbd245a55b053bbde74d1bfc6c0.png][]

最终，UMN layer的输出计作rc,ru,rl,rd。可以看作是用户长期偏好的向量表示。

## 2.4 PAIR layer ##

在PAIR layer，论文通过门控机制，将FP layer得到的短期兴趣向量表示和UMN layer得到的长期向量表示进行融合。如下图所示：

![c8c95648b68fd34fbe6d08a3bffda68c.png][]

以点击行为为例，计算公式如下：

![f96723c089158327ee3a03c09f18085a.png][]

在得到4部分的融合兴趣向量表示后，对其进行拼接，并与用户特征embedding、item特征embedding一同输入到全连接神经网络中，得到最终的CTR预估值：

![7067175f2a8195c3fb197d841de1914a.png][]

![4bcb988b282b82d3a2e04ebd6cec27d1.png][]

## 模型训练 ##

DUMN训练过程中，主要包含两方面的目标：  
1）预估CTR与实际label相接近，这主要通过最小化logloss来实现：

![3d3fe5806dad092f0c2083b838d2bb80.png][]

2）保证写入记忆网络的向量能够反映用户的偏好。针对这一点，论文提出了基于triplet loss的辅助loss，如下图所示：

![890fb9d22bb62145e699354862b5b405.png][]

首先，从用户的点击、未点击、喜欢和不喜欢序列中，随机各抽取一个item，得到对应的embedding表示，计作sc,su,sl,sd。接下来，可以组成四组正负样本对分别用于四个记忆网络的辅助loss计算：<sc,su>,<su,sc>,<sl,sd>,<sd,sl>。仍然以Mc为例，辅助loss计算如下：

![2c6ac2b6cd4a53454962853d12b0110d.png][]

即用户点击行为序列中的某个行为与记忆网络中记忆向量的距离和未点击序列中的行为与记忆网络中记忆向量的距离至少要相差margin，否则会产生损失。

每个记忆网络对应一个损失，因此辅助损失计作：

![ed6482286bb29d95851c8e06263918a8.png][]

两部分损失结合在一起，则是DUMN的最终损失。

# 3、实验结果及分析 #

最后简单看一下实验结果，可以看到，DUMN在两份数据集上，都取得了比baseline更好的AUC表现：

![43a01f7cf922990a4ae585442830b5d8.png][]

好了，论文就介绍到这里，感兴趣的同学可以阅读原文～

[推荐系统遇上深度学习(一二二)-\[阿里\]通过孪生掩码层来高效的学习特征表示向量][-]

[2021-08-28][-]

[![21180d4eeefd69a704061ae0a42b9bd7.png][] ][-]

[推荐系统遇上深度学习(一二一)-基于用户行为检索的点击率预估模型][- 1]

[2021-08-22][- 1]

[![06886abb64d1346a8c7886986ada96c3.png][]][- 1]

[dba4584d474be6fd68f35950ef63d903.png]: /images/20220828/8a8e963162e9459da651dcb6f5c5167d.png
[6846fd1f2ce659528392ab9f5f679fda.png]: /images/20220828/135ca9e0aebb4df29c2224605c85933b.png
[a72b5227de92e45874a14bd003626221.png]: /images/20220828/57da2209143f4668bb81613faa2367ee.png
[cde2d56be5beb99c979d94476f92d1d6.png]: /images/20220828/d5c1de4873c34c7cb093571fc7f1828e.png
[d4891d4de2e0c161b405dcce45775670.png]: /images/20220828/1e1f2dd7104b41028c64c3c0c3d7eebf.png
[03bec03a6fbc29b70ff3dafae6a01d74.png]: /images/20220828/b4ea0553c48c4443ac51b73adecd92de.png
[1741dbaa890ac45726886be1c9852b1e.png]: /images/20220828/5eb4990a29574f9d9c5858c41ac15e73.png
[d50930b6eb27b32d42d5291cff5b1ff1.png]: /images/20220828/9cb8c5d3e070426b88317c4da5934b90.png
[6609a2eba0a3234705b7c4b999d5f9f0.png]: /images/20220828/14dfc89b80d648e482b8d3a35a5703bc.png
[790777797eb029c22a2860df7ebc01ad.png]: /images/20220828/e7f1f4a33f0042c58f580d033279a335.png
[1b49692a2265b1a993133913a37c9265.png]: /images/20220828/d928cfb585b04217ac1a0179517ab376.png
[cd1a3b6f689accb5bfa35ce033ce83f8.png]: /images/20220828/c1df02c77c6244168f172fc4a3fd20fc.png
[37502081b187b91a8b99ae0ff89dd525.png]: /images/20220828/f9f36cc0078f401ab33fd23726d28f60.png
[4fbd20d7db3cf05394a1dccd6eac3a77.png]: /images/20220828/6657ce4ea2f54dc1b755f6c3cbfaad63.png
[956c7dbd245a55b053bbde74d1bfc6c0.png]: /images/20220828/37bf060c970c479db88791f3ad54f0b5.png
[c8c95648b68fd34fbe6d08a3bffda68c.png]: /images/20220828/64e842329cb74058929ec8cf2efb9e71.png
[f96723c089158327ee3a03c09f18085a.png]: /images/20220828/1c95d3e2465148f2a60651dd52c915a0.png
[7067175f2a8195c3fb197d841de1914a.png]: /images/20220828/d27e49d1649c4b638d592baab8d0fa9a.png
[4bcb988b282b82d3a2e04ebd6cec27d1.png]: /images/20220828/95f168e7eb9d4ab09b6cc49d35c045a4.png
[3d3fe5806dad092f0c2083b838d2bb80.png]: /images/20220828/a1ae0d04fcd0475dadf70d932a3c9564.png
[890fb9d22bb62145e699354862b5b405.png]: /images/20220828/fe1d5acd90c04a4598b6bd549ea43eb9.png
[2c6ac2b6cd4a53454962853d12b0110d.png]: /images/20220828/cfc4717438f941e5bbbaa95724a69ae3.png
[ed6482286bb29d95851c8e06263918a8.png]: /images/20220828/6e6175fb72a64719bd4067390df7aae6.png
[43a01f7cf922990a4ae585442830b5d8.png]: /images/20220828/4ca8a09ced274eb1be17edc07ae04a86.png
[-]: http://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg==&mid=2247490251&idx=1&sn=feaa8b1904794fdb68ce144b643e0b02&chksm=e9d00a0adea7831c7208e79e909b3609fc6487db119eb74deb248cff5742a024b139ec574bd6&scene=21#wechat_redirect
[21180d4eeefd69a704061ae0a42b9bd7.png]: /images/20220828/20527d7b1c3d40ac8c29b2657a09a370.png
[- 1]: http://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg==&mid=2247490170&idx=1&sn=618fba2331d08f5632a27acc53fa1000&chksm=e9d00abbdea783ad10845b7fcba14671c58db6852eacbf4e2bd5fbd7ee46e944b21b5fce7d66&scene=21#wechat_redirect
[06886abb64d1346a8c7886986ada96c3.png]: /images/20220828/e006490a63f84028b5949d78fdc90529.png