快看漫画大数据平台的模型思维与用户增长实践

我不是女神ヾ 2022-02-22 06:25 216阅读 0赞

本文根据快看漫画屈世超老师在DataFunTalk数据主题技术沙龙活动“大数据从底层处理到数据驱动业务”中分享的《大数据平台的模型思维与用户增长实践》编辑整理而成，在未改变原意的基础上稍做修改。

![\\"\\"][6e330caa55c529754a547c12570093ea.jpg]

今天分享的内容分为三个部分，首先介绍下快看漫画发展状况，第二个就是我们在大数据平台和大数据业务发展的过程中总结的模型思维以及平台搭建的一些经验，最后是基于我们的数据平台用数据驱动去增长用户、业务的一些实践经验。

![\\"\\"][d54aea61c436643432c0ebc9f895daec.jpg]

上图是快看漫画APP的一些界面，基本是精品漫画加二次元社区、社交的一个平台，同时我们也生产漫画内容。快看成立于14年底，经过几年的发展，已经有了超过1.3亿的用户量，月活动量近4000万、日活动量1000万，在中国漫画APP中排名第一。日数据量接近百亿条，对数据平台要求比较高。

![\\"\\"][f2b20aab6724f7ccf153150f2820a3a2.jpg]

如果从事过市场推销相关业务，都明白移动APP发展前几年都赶上了人口红利的曝光，推广起来比较容易，用户量也是实现了比较快速的发展。但是到17年开始，移动网民的数量增长量很小，在推广过程中，抢的都是存量用户。随着APP开发推广竞争力越来越大，市场的投放、购买越来越难，成本越来越高。就目前所有APP开发者普遍存在的趋势就是用最小成本购买优质用户，留存一定要做高，同时通过一定的用户运营实现活跃用户的价值输出，即超级用户思维。这一切都离不开数据支撑业务增长的需求和发展。

![\\"\\"][536649c9bf38222c0dd38a7c9ff4ae69.jpg]

第二部分讲一下模型思维和快看数据平台搭建，模型思维的概念很抽象，但是是无处不在的。比如我们见过的新事物会潜意识进行抽象，然后特征提取、存储到我们的意识中，再发现类似的事物就会很自然联想到这个模型，通过模型来猜测这个相近的事物有什么特点、如何去使用它、如何去产生联系。举个例子如我们第一次见到平衡车，我们就会想到电动车、摩托车，要驾驭它需要很好的平衡性。我们认识新事物会自动联想我们记忆中就有的模型，这就是模型思维。在技术开发过程中模型思维也是无处不在的，比如我们在有了需求以后，需要从需求抽象出一个模型，映射的模型从我们的经验记忆中联想，那些架构模型是能够解决当前的需求，再从这个大的模型不断去拆分、细化、划分模型，每个模块又是更细粒度的模型，再拆分直到我们熟悉的技术。模型思维就是我们要从需求出发，抽象出需求模型，然后映射出架构模型，然后拆分更细粒度模型，直到我们熟悉的技术。这其中就需要我们对多项技术的积累，多项工具、框架组合使用的经验，才能透彻理解模型思维。

![\\"\\"][d9d9c34dcfd25d0ef78afdb362e0a2cb.jpg]

上图是我们大数据平台应用的总结，首先是一个需求模型的汇总，然后是架构模型的一个汇总。在架构模型中会产生更加细粒度的模型，细粒度的模型继续拆分直到不能拆分的原子模型。先从需求出发（架构设计的依据和来源），一般大数据的应用都离不开这三块，第一个就是数据存储和数据探索模型，第二部分是数据分析与预测模型，第三部分是商业智能与决策模型。比如数据存储我们需要对数据进行备份（冷备份、热备份），对数据进行查询和规律分析；数据分析和预测模型包含实时分析、批量分析，数据探查包含特征提取或个性化推荐；商业智能与决策模型在金融领域比较多，比如风控领域，对贷款人信用学习决策是否能贷款、收回贷款等。需求相关的模型基本都离不开这三部分，由需求模型映射到相应的架构模型需要经验性，依赖于需求过程中提取如何去使用这些数据、展示形式、数据源接入的方式或者根据数据源的格式或一些特点如何进行数据的清洗和处理；数据分析中用什么样方式进行洞察和分析，比如使用什么样的算法去学习个性化推荐或找到一些规律。

![\\"\\"][147720f8005e5bf59de88fc479aeb752.jpg]

在做大数据时总会接触到一些模型，如数据接入模型，做数据采集（web数据、设备数据、业务数据，可能有不同形式的接入方式），接入之后做数据存储，结构化与非结构化、分布式存储，云存储或存储到传统的存储模型中。然后是数据处理模型，实时、离线，还有清洗模型，不同格式、形式的数据用何种方式、工具进行处理。最后是数据使用模型，做完处理后如何进行分析、可视化，如何查询，还有用户触达，做一些智能决策，以及自动触发模型。

![\\"\\"][75ed834e434cae3c91ac77eeba45bfc8.jpg]

所有的架构都是由需求衍生而来，由需求产生模型，这些模型是由小的原子模型通过一定的组合、封装，逐层构建更高层次的模型，最后将技术架构实现。学习技术和架构是一样的关系，有了这种思维后，在学习技术时更有目标，在整个架构它的定位和功能是什么，与同功能的优劣对比更清楚。这种思维能够快速将需求抽象成模型，业务方和开发方就确立共同目标，有助于开发制定关键架构决策，什么样的业务大致能知道用什么结构去解决。架构落地是由底层到高层逐层实现的，从原子模型落地，通过层层组装实现整体架构的落地。还有一个优点是有了整体架构后，能够平滑的实现架构升级、修复、替换，因为每次改动是基于原子模型或几个原子模型的组合。

![\\"\\"][52412143b45cf07afbcaff31d86584cb.jpg]

![\\"\\"][596e16eda9c9ed2bccae98d3077614e2.jpg]

前面介绍了模型思维，接下介绍快看如何发展数据平台。创业公司最开始关注的并不是用户的行为，更多的时项目是否适用于我想象的用户群体，这个群体在APP使用时长、活跃度、留存量。我们开始使用的是低成本接入和和使用第三方基础数据统计平台，就能满足需求，前期成本低，通过多个第三方能够保证数据准确性便于做数据相关性验证以及很多宏观指标确定APP的业界定位。快看发展第一年主要依据第三方数据平台做相关分析以及自己的统计任务基本能够满足需求。在成长期需求呈爆发式增长，业务线不断分散。随着业务量发展和数据增多，需求不断细化不会只看宏观基础指标，指标会细化到每一个业务，每个业务也会查看功能性指标。开始尝试做原子模型的替换，调研发现一个“二八定律”，就是如果要对用户行为进行分析，接入的第三方数据分析平台，利用20%的成本接入和维护能够满足各个业务线80%的需求。随着业务量以及业务需求增加，许多数据分析是定制化的，第三方数据平台就无法解决，就自建大数据平台。搭建原则是利用最低成本解决需求，优先使用第三方平台能解决的方案，不能解决利用大数据平台做定制性的数据洞察，比如个性化推荐，做精准的作品分发。后续数据洞察的需求越来越多，业务指标越来越定制化，数据统计的粒度会越来越细。

![\\"\\"][d634cc5d00bba9227051ed91fe8c503b.jpg]

上图是平台架构，分为四层。虽然有很多模块还不是很细，但是随着业务的发展，也是适合当前人力成本取舍的一个方案。这是快看创业阶段的经验，如果有在创业公司工作的，有需要可以参考下。

![\\"\\"][06194e0e08bb34ecd91696cfe58e877e.jpg]

接下来讲一下我们利用数据驱动来实现用户增长的经验，业界关于类似的探索还比较少，因此做一个总结分享一下。快看数据部门对数据的定位是基于我们的平台，对公司所有业务线提供数据需求，做好数据驱动，每个业务线做好业务增长。这个业务很宽泛也很难，以为很多创业公司是从零开始发展起来，很多时候并不太注重数据，数据平台是由需求驱动发展的，但是我们想数据平台去驱动业务线的发展，我们花费一年半时间做数据内部思维推广，由于成员年轻化，很多都不是很理解数据，还不断强化他们如何使用数据、好处是什么。然后就是聚焦在运和业务增长方面。

![\\"\\"][5fb97d6cec4907606616b9c6147f430a.jpg]

先讲一下数据思维内部推广，培训介绍现有数据平台、第三方数据分析平台、BI后台以及数据字典维度等，介绍有哪些数据；然后介绍各个业务能够使用那些数据；最后就是如何将数据用起来，让CEO、CTO实施让员工更多的去使用数据，强化管理层对数据的重视，要求一些数据指标的统计，从上到下分配到每一个团队，产品经理和用户增长团队辅助确立业务核心指标，着重如何确立综合指标来评价你当前的工作和业务发展；数据研发团队提供数据支持，将数据抽象化、平台化、自动化。但是也要进行一定的取舍，因为会有一些不切实际的需求，或者提出的需求分析没有用等等。

![\\"\\"][35172bca901be6414a4937bcbbd83190.jpg]

用户增长团队后期工作是介于每一个开发线与业务之间的工作，如制定指标，针对指标做一些细化，细化为可落地，对当前业务有增长的可执行指标。引导他们去使用并做一些优化，如付费运营，每一次活动完成后分析是否达到效果，以及下次运营需要哪些工作。会监控每一个页面位置作品曝光率以及用户在每一个分发页面的参与度，比如社区运营、游戏运营也有类似工作。产品经理和用户增长团队联系密切，共同去做好数据分析。

![\\"\\"][e5ed7d230c7b1e7e8bf3b373ce2a8d5a.jpg]

![\\"\\"][e68cb4c67d0685033e847a9346cb9f8c.jpg]

接下来讲一下我们在这方面的例子，快看作为漫画平台核心功能就是满足用户对于内容的阅读需求，核心点就是把控作品内容变化趋势，同时根据用户的需求、喜好开发一些新内容，这些是内容模块的指标。让内容开发者基于对用户的理解，利用数据去支撑他们的猜测，探索内容开发方向。具体方式就是会分析每一个作品的周留存、日留存和月留存，以及用户阅读次数，看一下用户对作品持续关注度。然后通过用户搜索关键词把控新作品开发方向，这样能够把控作品质量，同时每个用户活跃度的变化能够反映作品对用户的吸引力。

![\\"\\"][5aff58251e8d11b70914e7e396e80fcf.jpg]

上图是用户运营的思维，拉新越来越难，因此要对现有用户留存，利用的是海盗模型去定义用户的生命周期，从激活到留存还有沉默到流失，以及内容传播与收入等都有实践。指导思想就是对每个用户实时跟踪，实时搜集用户行为，标记用户生命周期，根据生命周期标签做相关推荐，如新用户进行冷启动学习进行推荐，沉默会做拉活尝试，流失会做用户召回活动。留存也会做优化，但更多是基于用户画像进行个性化作品分发以及个性化push。

![\\"\\"][233fc55242ed421b411fd1e05f4144ce.jpg]

运营这一块很重要，每年花费在市场推广成本很高，如何评价和吸引高质量的用户难点很多，主要有对接的渠道很多，接入方式多种多样，借助第三方平台实现高质量推荐不现实。因此定制化BI后台，尝试对用户拉新精准归因，然后做精准统计。平台应用中，发现利用自己的平台能节省20%的运营成本。在做用户拉活和广告素材方面会做个性化投放，通过用户个性化标签生成对应的广告素材做精准拉活和召回投放。

本文来自屈世超在 DataFun 社区的演讲，由 DataFun 编辑整理。

[6e330caa55c529754a547c12570093ea.jpg]: /images/20220222/1cdc907be1854e6aa16c0650ee89d9ee.png
[d54aea61c436643432c0ebc9f895daec.jpg]: /images/20220222/7da7d78dbe4344e3a49eac291ff711cb.png
[f2b20aab6724f7ccf153150f2820a3a2.jpg]: /images/20220222/8aefe0874e7a4220a097eab35ef41cc4.png
[536649c9bf38222c0dd38a7c9ff4ae69.jpg]: /images/20220222/38b1f96bcb4243fc9754d01aa3caf9f7.png
[d9d9c34dcfd25d0ef78afdb362e0a2cb.jpg]: /images/20220222/704bfd0ebf014927a09cf6d6dd5c0ec6.png
[147720f8005e5bf59de88fc479aeb752.jpg]: /images/20220222/143a93ad834447bcb2b4fb70c3a45ea6.png
[75ed834e434cae3c91ac77eeba45bfc8.jpg]: /images/20220222/2a041568fa62477f87923689395637af.png
[52412143b45cf07afbcaff31d86584cb.jpg]: /images/20220222/056ab68ffdd5467ab9bc978298f29ebc.png
[596e16eda9c9ed2bccae98d3077614e2.jpg]: /images/20220222/461ad7a2f793423fb06a690bbafdf3f1.png
[d634cc5d00bba9227051ed91fe8c503b.jpg]: /images/20220222/f7ae96a4e57a4e728b83e9627eb22ab6.png
[06194e0e08bb34ecd91696cfe58e877e.jpg]: /images/20220222/a4326a2680d54a718f18067a424e6c44.png
[5fb97d6cec4907606616b9c6147f430a.jpg]: /images/20220222/757772e451584a34896a211952320664.png
[35172bca901be6414a4937bcbbd83190.jpg]: /images/20220222/a789f8a5c6804a8289c7620f71734f8f.png
[e5ed7d230c7b1e7e8bf3b373ce2a8d5a.jpg]: /images/20220222/9469cdca76104c40a158fd03743efb60.png
[e68cb4c67d0685033e847a9346cb9f8c.jpg]: /images/20220222/3f36b9df1ab5460c8787694e0fe95dae.png
[5aff58251e8d11b70914e7e396e80fcf.jpg]: /images/20220222/9954b92704c44f929053c66acb956372.png
[233fc55242ed421b411fd1e05f4144ce.jpg]: /images/20220222/606359df444c4405be8eb8b70c2e4326.png