数据采集和埋点

Dear 丶 2022-09-10 09:22 210阅读 0赞

# 数据采集和埋点 #

## 1. 什么是数据采集 ##

*  为了满足统计、分析、挖掘的需求，搜集和获取各种数据的过程。
 *  是数据驱动、精细化运营的基本。

## 2. 应用场景 ##

*  用户画像
 *  精准广告
 *  个性推荐
 *  在线分析
 *  搜索优化
 *  反作弊

## 3. 数据采集目标 ##

*  按照数据类型：
    
     *  用户行为数据，如用户启动了应用，并做了滑动点击等操作
     *  用户数据，如用户的基础信息
     *  业务数据，如搜索下单支付等
     *  内容数据，如文本相关的数据
 *  按照所有者：
    
     *  第一方数据，我们自己的数据
     *  第三方数据，集成的第三方数据

## 4. 大体流程 ##

1.  数据采集
2.  数据参数(实时/批量)
3.  数据建模/储存
4.  数据统计/分析/挖掘
5.  数据可视化/反馈

## 5. 埋点流程 ##

1.  提出需求
2.  确认方案
3.  埋点开发
4.  验证数据
5.  获取结论

## 6. 事件模型 ##

Event + User 模型

*  事件Event（日志）
    
     *  Who：参与此事件的用户
     *  When：时间发生的实际时间
     *  Where：事件发生的地点
     *  How：用户进行事件的方式
     *  What：描述用户所在的事件的具体内容
 *  用户User
    
     *  记录和收集用户的长期属性
     *  通过ID与相关的Event关联

## 7. 数据采集原则 ##

1.  大：充分考虑用户规模与数据规模的增长，做好数据资产的积累。
2.  全：多端采集，针对全量用户行为而非抽样，贯穿用户使用产品的整个生命周期。
3.  细：尽可能采集足够全面的属性和维度，尽量保存数据细节，让积累的数据资产更加优质。
4.  时：在技术条件于成本允许的情况下，尽可能的提高数据采集的时效性，从而提高后续数据应用的时效性。

## 8. 常见埋点方式 ##

#### 前端代码埋点 ####

在某个事件发生后调用接口。

优点：

*  精准控制埋点
 *  方便、灵活自定义事件、自定义属性
 *  采集数据丰富
 *  可以满足更精细化的分析需求

缺点:

*  埋点代价比较大
 *  需要伴随着App发版

#### 接口端埋点 ####

在某些接口中集成埋点功能，类似记录操作日志。  
优点：

*  一处开发全栈覆盖

缺点：

*  点击事件等无法采集

#### 第三方SDK ####

前端人员无需编写或只编写少量代码，就能预先自动收集用户的所有用户行为。

这一般由一些专门SDK或框架提供，例如：启动、退出、页面浏览等。

优点：

*  埋点代价较小
 *  无需更新App
 *  解决了数据“回溯”的问题
 *  其他更高级功能强依赖

缺点：

*  覆盖的功能有限
 *  无法自动采集业务相关的数据
 *  无法满足更精细化的分析需求
 *  兼容性问题
 *  传输的数据量太大、浪费资源

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关数据埋点怎么做？

导读埋点数据是数据分析、推荐、运营的基础，低延时、稳定、高效的埋点数据流对提高用户体验有着非常重要的作用。而随着流量的增大，埋点的增多，在大流量场景下，埋点数据流的建设和治

谁借莪１个温暖的怀抱￠/ 2024年04月07日 16:11/ 0 赞/ 83 阅读

相关埋点数据设计

目录前言一、什么是埋点二、为什么要埋点三、埋点埋什么 2. 用户(User)属性 3. 内容(Item)属性 4. 埋点需求怎么提 1. 事件

柔光的暖阳◎/ 2024年02月17日 08:26/ 0 赞/ 59 阅读

相关前端页面JS埋点自定义采集实现

1 设计实现 1.1 确定收集信息 <table> <thead> <tr> <th><strong>名称</strong></th> <

Myth丶恋晨/ 2023年10月03日 11:11/ 0 赞/ 49 阅读

相关 miniui 使用后端数据_数据埋点与埋点方式简介

![06bb5524e5bda364c0122c452854c1f9.png][] 这是数据产品经理需要知道的埋点知识，开始～一、埋点简介 1.什么是数据埋点

阳光穿透心脏的1/2处/ 2023年01月04日 14:56/ 0 赞/ 151 阅读

相关 uniapp 数据统计，数据埋点，自定义事件埋点封装

本博文实现了uniapp的数据统计埋点的封装，可以自动统计页面的PV， UV，页面停留时长，不需要在每个页面的生命周期写统计（tabBar 的页面除外，tabBar 页面需要添

分手后的思念是犯贱/ 2022年12月19日 09:27/ 0 赞/ 498 阅读

相关 flume数据采集：js埋点

![在这里插入图片描述][20200917203136783.png_pic_center] ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

╰半橙微兮°/ 2022年12月08日 04:52/ 0 赞/ 313 阅读

相关微信小程序无埋点数据采集方案

相信业务团队对这样的场景不会太陌生： 1. 打点需求：每新上一个功能，数据产品便会同步加上打点需求，当数据打点上线后一段时间，数据产品/业务产品便会针对数据的转化率分析和对

た入场券/ 2022年11月26日 15:55/ 0 赞/ 360 阅读

相关数据采集和埋点

数据采集和埋点 1. 什么是数据采集为了满足统计、分析、挖掘的需求，搜集和获取各种数据的过程。是数据驱动、精细化运营的基本。 2. 应用场景

Dear 丶/ 2022年09月10日 09:22/ 0 赞/ 211 阅读

相关【转】数据埋点分类

1、数据埋点的重要性在现实工作中，数据的整体流程为：数据生产-数据采集-数据处理-数据分析和挖掘-数据可视化，其中，数据采集是很重要的一个环节，数

阳光穿透心脏的1/2处/ 2021年09月27日 00:38/ 0 赞/ 614 阅读

相关神策数据埋点

一. 1.引入 SDK (1).下载神策官方的dome:[https://github.com/sensorsdata/sa-sdk-miniprogram/re

一时失言乱红尘/ 2021年07月24日 22:42/ 0 赞/ 567 阅读