基于 MaxCompute 的智能推荐解决方案

﹏ヽ暗。殇╰゛Y 2022-09-07 15:50 192阅读 0赞

**简介：** 在互联网行业红利已过、在获客成本越来越高、在用户在线时长全网基本无增长以及信息大爆炸的情况下，如何更好的转化新用户和提升老用户粘性就变得至关重要，智能化的个性化推荐无疑是经过验证的重要手段之一，我们每天使用的移动App或企业内都处处有其身影。

**本文作者 吴世龙 阿里云智能 高级产品专**

## 一、背景介绍 ##

### 行业趋势 ###

“2018年天猫双11共产生了453亿次AI个性化推荐，阿里巴巴副总裁、淘宝总裁蒋凡表示淘宝可能是全世界最大人工智能的应用，他说：“在今年双11我们也可以看到，基于个性化推荐的流量已经超过了搜索等方式带来的流量，这是一个非常非常大的变化”

信息爆炸一词最早出现在20世纪80年代，各种信息以指数级增长，如何处理过载的信息成为了重要的问题，而这对于无论是消费者还是信息发布者还是承载的平台，都意味着眼下和未来都面临着巨大的挑战，而个性化推荐系统的本质则是高效连接信息和用户，于用户满意度提升，于信息发布者获得合理的用户群，于平台价值转化最大化。

### MaxCompute产品背景 ###

[MaxCompute][] 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析，将数据高效转换为业务洞察。

### 智能推荐产品背景 ###

智能推荐，基于阿里巴巴领先的大数据和人工智能技术，根据用户的兴趣偏好，解决用户需求和内容展示中间的关联问题。结合阿里巴巴在电商、内容、新闻、视频直播和社交等多个行业领域的积累，为全球企业及开发者提供云推荐服务与机器学习平台。

智能推荐在我们生活和工作中都是会遇到的，比如某工业客户，在企业内部有许多的资料供员工查看。智能推荐不止是对于ToC的企业，ToB的企业在企业内部，包括一些知名的企业，内部都是用很多资料，能够让员工方便的，快速的，高效的供员工查看。这个需求在ToB企业中也是普遍现象。ToC企业的需求更加明显，如果大家关注行业报告，会发现互联网的红利已经基本结束，用户的渗透率已经很高。那在行业发展和用户增量达到瓶颈时，用户的在线时长从2020年的6.1小时，仅仅增加到6.3小时，用户的在线时间基本上处于停滞不增加的阶段。那企业随之也会面临两个问题，一企业用户获客成本越来越高，增量的难度也越来越高。二获客成本越来越高的情况下，存量客户怎么去增加在线时长。从这两个问题表明，如何充分、高效转化不管是增量还是存量的用户，对于企业来说都是非常重要的一环。

## 二、智能推荐业务场景与价值 ##

### 哪些行业需要智能推荐 ###

不管是电商行业、内容行业、新闻行业包括上文讲到的行业，其实行行业业都会用到智能推荐。大家一听到智能推荐都会想到ToC的行业，但ToB的行业也是需要智能推荐，因为企业内部有大量的资料和文章。推荐本身已经渗透到我们平时用到的产品的方方面面，从产品形态来看电商，内容，新闻等都有它的身影，通过大数据+算法预测出我们更感兴趣的内容，极大的改善了用户体验；

![一期1.png][1.png]

### **痛点** ###

电商/零售行业

•获客成本高用户留存差

•成交转化率低复购率低

•人工规则推荐效率低效果差

内容/资讯/视频行业

•获客成本高用户留存差

•用户粘性/活跃度低

•人工规则推荐效率低效果差

### 场景 ###

电商/零售行业

•App首页瀑布流

•店铺首页瀑布流

•商品详情页

•卖场活动页

•其他

内容/资讯/视频行业

•首页瀑布流

•内容/资讯/视频详情页

•主题/专题瀑布流

### 客户使用智能推荐后的效果 ###

从下图表中可以看出，在企业使用完智能推荐之后，各项效果指标有了明显的提升。

<table> 
 <tbody> 
 <tr> 
 <td> 某知名垂类社区商城 </td> 
 <td> 某知名垂类电商 </td> 
 <td> 中青看点个性化推荐 </td> 
 <td> 某食谱类APP </td> 
 </tr> 
 <tr> 
 <td> <img alt="1.png" src="https://img-blog.csdnimg.cn/img_convert/567df5a61d3638cd35318ed017e7d8da.png"> </td> 
 <td> <img alt="2.png" src="https://img-blog.csdnimg.cn/img_convert/f9b088aaa219f32398d9bdc95a09ba50.png"> </td> 
 <td> <img alt="3.png" src="https://img-blog.csdnimg.cn/img_convert/28b246cd00c41b3da0c825add848f587.png"> </td> 
 <td> <img alt="4.png" src="https://img-blog.csdnimg.cn/img_convert/0908c4d2f333dfcb8eab45e3dc4baff2.png"> </td> 
 </tr> 
 <tr> 
 <td> 成交转化率提升&nbsp;40%+ </td> 
 <td> CVR提升&nbsp;100% </td> 
 <td> CTR提升&nbsp;80%+ </td> 
 <td> PV_CTR提升&nbsp;38% </td> 
 </tr> 
 <tr> 
 <td> GMV提升&nbsp;50%+ </td> 
 <td> 每用户下单数提升&nbsp;89% </td> 
 <td> 用户均停留时长提升&nbsp;10Min </td> 
 <td> UV_CTR提升&nbsp;34% </td> 
 </tr> 
 </tbody> 
</table>

### 基于数据仓库的智能推荐架构 ###

智能推荐是典型的大数据应用场景，所以强依赖于数据仓库。智能推荐在数据对接方面，基于MaxCompute来实现，通过应用MaxCompute内部的一些计算能力，能够更好的分析、管理企业的数据，从而实现智能推荐的业务场景。如果您的数据量较小，也可以通过SDK把数据推送到智能推荐，实现您的业务场景。智能推荐支持算法定制和业务定制，给予企业充分的灵活自主可控的能力。

![一期2.png][2.png]

## 三、自建痛点与产品优势 ##

### 自建痛点(智能推荐) ###

搭建成本

•人员要求高：自建推荐系统对人员要求较高，系统开发、数据处理、召回、排序模型开发及调优，均需要高级开发&算法工程师长期参与。

•上线周期长：推荐系统架构复杂，为达到上线效果需要反复调优，所需开发时间多于3个月。

•运维成本高：升级迭代、自建系统后期有较高的维护成本。

推荐效果

•效果调优困难：套用主流算法不一定有好的效果，还需考虑应用领域数据、相关性、新颖度、时效性等多维度推荐效果

•核心指标难统一：想提高CTR的同时又增加用户停留时长，无法兼顾多个核心指标

•迭代周期长与业务快节奏：业务节奏通常很快，而内部人力有限，既要快节奏又要人力占用少还要服务稳定性高更要见效快

后续维护

•适配难度大：任何一套推荐引擎都无法完全适配企业的业务诉求，阿里云智能推荐提供了黑白盒一体化

•运营易用性：推荐系统较复杂，不具备算法知识但需要干预的运营人员上手难度大

•服务稳定性：推荐场景通常用于高流量页面，对系统性能及稳定性以及弹性要求极高

### 自建数据仓库面临的挑战 ###

企业为了使用数据驱动业务发展，在建设和运营企业数据仓库时面临的问题：

1、启动成本高、建设周期长，价值难以快速验证

2、如何处理多样数据，拥抱新技术，充分挖掘数据价值

3、难以共享企业数据资产、数据创新成本高

4、平台架构复杂、运营成本高

5、满足业务需要的扩展性和弹性

![一期3.png][3.png]

### 业务增长 ###

通过自建的方式搭一套智能推荐系统是没问题的，但搭建推荐的效果如何保障。智能推荐的效果在不同行业的定义不同，在提升效果的同时，需要在推荐系统内做大量的工作。

多场景&业务适配

•不同企业(业务目标和效果不同）

•同一企业不同阶段

•同一阶段不同场景

•同一场景不同诉求

实验平台

•选品

•召回

•排序

•业务诉求

阿里云智能推荐=领先的算法能力+稳定且高效的工程体系+完整且灵活的产品能力

![一期4.png][4.png]

### 智能推荐产品优势 ###

开箱即用

•高度产品化、行业化(电商/内容/新闻)

•覆盖全链路（支持友盟SDK行为采集）

推荐精准

•行业、场景定向优化

•行业与阿里自研主流算法封装

•猜你喜欢&相关推荐

•多目标模型训练

全托管

•保障在线服务稳定性

•灵活升降配服务

•丰富的数据质量诊断功能，在线服务监控告警

灵活适配

•运营助手：产品和运营可快速干预推荐

•开发和算法：集成强大的离线、在线链路开发能力

### MaxCompute产品优势 ###

简单、易用

*  **数据仓库**(Data Warehouse)

*  面向数仓优化高性能存储、计算
 *  多服务预集成、标准SQL，开发简单
 *  企业级服务-内建完善的管理和安全能力

*  **服务化**(As a Service)

*  Serverless、免运维
 *  按量付费、不用不花钱
 *  自动升级

![5.png][]

匹配业务发展的弹性扩展

*  动态扩缩容，无需提前容量规划，满足突发业务增长
 *  存储-计算独立扩展，无扩展性限制
 *  业务增长性能不降级

![一期6.png][6.png]

![一期7.png][7.png]

多分析场景支持

近实时化、交互分析、AI分析、数据湖分析方面增强，支持更多业务场景

*  **机器学习**

*  PAI原生集成
 *  内置Spark ML
 *  Mars科学计算

*  **传统数仓**

*  ETL:SQL +UDF
 *  BI:查询加速、MC-Hologres

*  **数据湖分析**

*  SQL外表
 *  联邦查询
 *  非结构化数据处理

*  **近实时数仓**

*  近实时写入
 *  近实时分析

开放的平台

全托管服务上支持开放接口和生态，为数据、应用迁移、二次开发提供灵活性。

*  管理接口开放

*  Java/Python SDK
 *  标准JDBC接口

*  数据开放

*  开放的导入导出数据接口(Tunnel 上下传）
 *  LOAD/UNLOAD：免费、高性能导入/导出ORC、Parquet开放格式到数据湖

*  兼容主流语法

*  MaxCompute SQL兼容Hive SQL语法
 *  支持原生Spark作业

*  开放的生态

*  Flink/Kafka/Presto Connector
 *  Airflow/Azkaban/Kettle调度
 *  支持Tableau、FineBI及通用JDBC BI工具

![MC生态0720(1).jpg][MC_0720_1_.jpg]

## 四、配置与启动服务 ##

### 产品使用基础流程 ###

成本优化：可在POC阶段使用入门版实例测试，测试完成后一键升配标准版正式切流。

主要分成四个步骤：1、数据准备；2、创建实例；3、策略配置；4、测试、发布。

实现基础服务搭建只需1个普通水平的工程师花费3-5天即可完成。

![一期8.png][8.png]

### 通过历史数据( MaxCompute)启动实例 ###

![6.png][6.png 1]

控制台配置流程

![7.png][7.png 1]

![8.png][8.png 1]

### 通过服务端SDK启动实例 ###

![8.png][8.png 2]

### 通过友盟+服务端SDK启动实例 ###

![8.png][8.png 3]

## 五、重点功能解读 ##

### 猜你喜欢+相关推荐 ###

在电商行业，智能推荐支持猜你喜欢、相关推荐这2种推荐服务类型。猜你喜欢主要应用于首页以及商品TAB页的商品瀑布流推荐，相关推荐主要应用于商品展示页、详情页的推荐。其中，种草社区可基于AIRec内容行业搭建。

![1.png][1.png 1]

![2.png][2.png 1]

![3.png][3.png 1]

![4.png][4.png 1]

### 实时推荐 ###

实时交互是促进消费者沉浸式浏览的必备基础功能。智能推荐可实时学习消费者当前兴趣表达、变化，并更新在下一次生成的推荐结果中，从而实现实时的互动式推荐功能。

![1.png][1.png 2]

### 负反馈 ###

推荐系统在与用户互动的过程中，有可能出现不符用户预期的推荐结果，而负反馈成为推荐与用户对话的重要入口。智能推荐支持单个商品维度、商品类目维度以及商品其他特征类维度的负反馈功能。

![1.png][1.png 3]

### 业务策略配置 ###

可针对精品做人工加权，实时上下架，保证推荐质量。

可通过设置去重规则，保证在设置时间区间内，不重复给用户推荐同一商品或内容。

通过设置类目多样性规则，保证推荐的多样性，避免产品单一性。

![1.png][1.png 4]

### 多场景 ###

场景作为个性化推荐的流量入口，在不同的页面/不同的用户群可进行差异化的定制。如，首页的推荐、频道页推荐、个人中心页、搜索空结果页、商品详情页、购物车页等等。推荐PLUS支持定制差异化的场景选品规则。

![一期11.png][11.png]

![一期12.png][12.png]

![一期13.png][13.png]

![一期14.png][14.png]

控制台配置规则

左侧业务定制->场景管理

![1.png][1.png 5]

A/B实验平台

**流程如下**

![1.png][1.png 6]

![1.png][1.png 7]

**控制台配置规则**

![1.png][1.png 8]

![1.png][1.png 9]

![1.png][1.png 10]

### 机器学习平台 ###

100+算法组件、完整业务开发框架、拖拽式开发平台

![1.png][1.png 11]

推荐业务逻辑封装、算法模型开箱即用

![1.png][1.png 12]

可视化分析模型指标

![1.png][1.png 13]

支持离线、在线的模型部署方式

![1.png][1.png 14]

## 六、MaxCompute + 智能推荐学习阵地 ##

### MaxCompute学习阵地 ###

[SaaS 模式云数据仓库 MaxCompute 官网][MaxCompute]，海量学习资料，助您开启云数仓之旅！

### 智能推荐学习阵地 ###

[智能推荐][Link 1]（Artificial Intelligence Recommendation，简称AIRec）基于阿里巴巴领先的大数据和人工智能技术，结合在电商、内容、新闻、视频直播和社交等多个行业领域的积累，为全球企业及开发者提供个性化推荐服务。

[原文链接][Link 2]

本文为阿里云原创内容，未经允许不得转载。

[MaxCompute]: https://www.aliyun.com/product/odps
[1.png]: /images/20220829/78e74ea6a1914d75a6d6a4fb5fc1fec5.png
[2.png]: /images/20220829/9f5e567aaed04bce808d6107bce676fb.png
[3.png]: /images/20220829/f9a13063ff704bd9ac6c255db20c6e88.png
[4.png]: /images/20220829/09d3dddd990f412da9d6722c2209c55d.png
[5.png]: /images/20220829/746987eeba7d40569308c4f0a14db31b.png
[6.png]: /images/20220829/23f6d7f9d1bf4ffc839dd41e715041dc.png
[7.png]: /images/20220829/5c3dd63fde1f4c139540a1725300ff78.png
[MC_0720_1_.jpg]: /images/20220829/70122f1e6f8b4c02bc16e3da79b55502.png
[8.png]: /images/20220829/7974ae9fd9c94031b98e20bf6568703d.png
[6.png 1]: /images/20220829/2036ed610643465ea3333eccc78db75f.png
[7.png 1]: /images/20220829/5b84b4d5ca244d0cb541e737640d073f.png
[8.png 1]: /images/20220829/0d079c7d99ac4c34a9b096b745abae28.png
[8.png 2]: /images/20220829/4c7fa62d0af449ecbcd6354a4f8cae82.png
[8.png 3]: /images/20220829/895e7f857c1e46a4844299cce1fcd6b4.png
[1.png 1]: /images/20220829/185fa617d873455ea82041895b004fec.png
[2.png 1]: /images/20220829/b38c464c2e734dff828c68c4506730d1.png
[3.png 1]: /images/20220829/164ed3ad10524cfb82c0c61a2a6dd582.png
[4.png 1]: /images/20220829/32f889b4e7c342e79887874680266ca7.png
[1.png 2]: /images/20220829/835f60786ac24079886adfe302f71020.png
[1.png 3]: /images/20220829/c11306d5edae4f71bdbab9c233c395bf.png
[1.png 4]: /images/20220829/0ee743a3559b4959a9fa5662eea60b99.png
[11.png]: /images/20220829/5e2d49e99dfc4b9cb7f7929568602f16.png
[12.png]: /images/20220829/ce4b4ff8e4f74a63ae14ed9756a190a6.png
[13.png]: /images/20220829/735fedfbba684b9f8c66a58f25f29d63.png
[14.png]: /images/20220829/2460551c5a0e4379ba4cc876b533a215.png
[1.png 5]: /images/20220829/894a3f5f60754a34876542f310a8082c.png
[1.png 6]: /images/20220829/f4c8f963347e49128998e4ec49e55dea.png
[1.png 7]: /images/20220829/08a9de74fe45433c88d285f9eb835888.png
[1.png 8]: /images/20220829/364d77b9665a44a58eff153388a55679.png
[1.png 9]: /images/20220829/2d95b7cb4dab4b1d96cf79034b5dbe44.png
[1.png 10]: /images/20220829/766b126eb06c43909e7e2cdbbccc48aa.png
[1.png 11]: /images/20220829/e9e53b95f315453d9dce0d20f03b9e97.png
[1.png 12]: /images/20220829/52f69184078441f8a57565aea3ede5d6.png
[1.png 13]: /images/20220829/d55477264e9c482ea5cdf03c8b5fc50a.png
[1.png 14]: /images/20220829/ba4cefd0ac7241dca11cf2b76618b95f.png
[Link 1]: https://www.aliyun.com/product/bigdata/airec
[Link 2]: http://click.aliyun.com/m/1000291057/