深度学习推荐系统学习笔记4——RNN

超、凢脫俗 2023-01-06 01:19 143阅读 0赞

上次不知道能不能见面的相亲对象给了个面试的机会，还是挺感谢的，之后基本上就没有回复了。哎，还是学习吧，毕竟这种事情不是猿小明这样普通人一个人能解决的问题。多想无益，唯有静心。

### 前言 ###

经过2周调参，发现DNN能调出一个不错的结果，deep crossing、deep&cross、DIN这些稍微复杂的网络提高极其有限。不过浅层DNN对数据和参数较敏感。其它复杂一点的网络训练速度慢一点，部分参数调整没那么敏感，总能慢慢收敛到一个稳定的结果（这里评估指标是AUC，数据都是MIND论文所提供）。

一个有意思的现象就是，当训练集AUC达到一定数值后（不确定多少），随着训练迭代次数增多，验证集AUC会慢慢下降。由于机器硬件限制，数据集没有迭代超过20次，所以这个结论不太确定正确。

目前上面算法调出最好结果AUC在0.62附近，mind论文给出的deep&cross结果是0.627。不过个人数据集用的demo，数据量少。论文配套数据量较大。

### 准备 ###

环境配置，包安装，数据源和下载，程序地址直接看上一篇就好，链接如下：

[深度学习推荐系统学习笔记1——deep\_crossing][1_deep_crossing]

除上述外，请下载git路径下din文件夹内容，包括已处理过数据，可直接进行训练。数据处理程序在din文件夹内。

## RNN模型 ##

RNN模型在书中没有提及，这里自己画个图意思一下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70_pic_center]  
这里以新闻推荐为例，新闻标题由tiny bert转换为128维向量。每个输入序列由6篇新闻组成，即Rs=6。前5篇是最近点击新闻，第6篇是点击预测新闻。最后一个cell输出即预测结果。所以输入向量维度为\[batch\_size, 6, 128\]。

实际上上图RNN模块可由GRU、LSTM所替换。训练得到评估结果AUC，LSTM略好于GRU，略好于RNN。隐藏向量（a）维度增高，训练结果也会得到提升。由于硬件条件限制，a维度最大设置为128。

### 代码结构说明 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]

1、data文件夹（无改动）

2、din文件夹

（1）dev文件夹，验证集相关数据（需下载）。

（2）train文件夹，训练集相关数据（需下载）。

（3）model，模型文件保存文件夹

（4）din\_build\_data\_set，构建模型训练所需数据，新闻id编号字典，新闻向量等。

（5）din\_model，模型网络结构和创建。

（6）din\_train，模型训练。  
（7）din\_evaluate，模型验证。

3、rnn文件夹

rnn\_model，模型构建和训练。tf2.0实现rnn代码不到5行，数据加载和变换与din保持一致。

### 总结 ###

利用LSTM将测试集AUC提高到了0.64，也是目前最好的结果。RNN模型也极易过拟合，训练集AUC提升很快，甚至能达到0.9。通过L2限制参数，会导致训练集和测试集AUC停留在0.61左右。这个模型参数调整比较玄学，也可能多训练一段时间会更好吧。

最后再来个git地址：

https://github.com/ConstellationBJUT/recommender\_system\_study  
  
github.com

[1_deep_crossing]: https://mp.weixin.qq.com/s?__biz=MzI1Mzc1NTMxNw==&mid=2247484027&idx=1&sn=f8c7d3de96995014355676832dd186f8&chksm=e9cee8a1deb961b7aeca440dee534dd5a63d27893a2894ab8a2883ee0eb1799a7ceba608bb6c&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221119/1cd255265b6149e3ba1e4531a922dbcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210113155637391.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jqam95MjAwOQ==,size_16,color_FFFFFF,t_70