【笔记】一天造出10亿个淘宝首页，阿里工程师如何实现？

红太狼 2022-05-30 06:57 116阅读 0赞

案例来源：微信公众号@阿里技术

案例地址： [https://baijiahao.baidu.com/s?id=1587264510118377957&wfr=spider&for=pc][https_baijiahao.baidu.com_s_id_1587264510118377957_wfr_spider_for_pc]

（以下为案例的简要概述，便 于之后能快速检索到相关内容。部分文字与图片可能直接来自原文，如有侵权请告知，谢谢）

1. 目标：在CTR有保证的情况下，提高淘宝首页推荐的多样性和新颖性。如以前用户点击了“茶杯”，那么推荐的可能是其它茶杯，而现在淘宝会在一定概率上对用户推荐“茶具”、“茶叶”等

2. 实现方法：

1）使用Graph Embedding做深度召回框架

2）使用XTensorFlow做深度排序框架

3. 使用Graph Embedding做深度召回框架： Graph Embedding是一种将复杂网络投影到低维空间的机器学习算法，典型的做法是将网络中的节点做向量化表达，使节点间的向量相似度接近原始节点间在网络结构、近邻关系、meta信息等多维度上的相似性（类似于word2vec）

4. 使用XtensorFlow做深度排序框架：

1）当宝贝数目及参数膨胀到一定规模，加深网络容易引起梯度消失。因此引入深度残差网络技术，训练更深的网络

2）通过将稀疏特征embedding，配合多层全连接Relu层，DNN能够自动进行特征交叉，学习到高阶非线性特征，但是这种交叉是隐性的，交叉阶数无法显示控制，而且容易"over-generalization"。为了弥补这一点，WDL模型引入了wide侧，显示记忆一些可解释的特征交叉信息以保证模型的精准性。但是wide侧的引入带来了大量的特征工程的工作，同时也只能学习2阶（cross-product）浅层的交叉。 DCN（Deep & Cross Network） 引入了cross network，通过网络层数控制特征交叉的阶数，并且它实现高阶特征交叉需要的参数量远远小于DNN。【这段没看懂，还未学习到DCN】

[https_baijiahao.baidu.com_s_id_1587264510118377957_wfr_spider_for_pc]: https://baijiahao.baidu.com/s?id=1587264510118377957&wfr=spider&for=pc