因果推断笔记——uplift建模、meta元学习、Class Transformation Method（八）

朴灿烈づ我的快乐病毒、 2022-09-10 10:18 380阅读 0赞

### 文章目录 ###

*  1 uplift 模型介绍 —— 为个体计算ITE
 *  2 uplift方法一：元学习方法（Meta-learning methods）
 *   *  2.1 Conditional Outcome Modeling （COM） / S-learner
     *  2.2 Grouped COM (GCOM) / T-Learner
     *  2.3 X-Learner
     *  2.4 R-learner
     *  2.5 特殊meta学习：The Class Transformation Method
 *  3 uplift方法二：Tree-Based Method（增量直接建模）
 *   *  3.1 分布散度下的Uplift-Tree
     *  3.2 CausalForest
     *  3.3 对uplift直接建模的CTS Tree
 *  4 NN-Based Method
 *   *  4.1 DragonNet
 *  5 Uplift Model 模型评估
 *   *  5.1 离线评估方法：Qini curve
     *  5.2 离线评估方法：AUUC
     *  5.3 线上评估方法——腾讯的A/B 测试得到效应
     *  5.4 Uplift decile charts
 *  参考文献

--------------------

# 1 uplift 模型介绍 —— 为个体计算ITE #

有多种方法可以评估ACE(平均因果效应)或ITE(个体因果效应)，这里我们关注的是ITE估计，即利用Uplift Modeling的方法，  
为每个样本(如用户)分别估计干预/不干预时的结果，得到treatment(干预)想退control(不干预)的uplift(增量)值。  
**不过uplift模型等于评估个人的CATE。**

uplift model常见的方法：

*  **tree-based：** 和机器学习中的树基本一样(分裂规则、停止规则、剪枝），核心为分裂规则，根据每个叶子节点的uplift，计算分裂前后的信息差异。常用比如基于分布差异(KL、Euclidean等）；或者结合bagging、boosting技术等
 *  **regression-based / Meta-Learning Method**
    
     *  two-model：实验对照组分别一个模型，之后做差。可能实验对照各自学的好，但是缺失了我们要的uplift增益效应
     *  one-model：把T（是否发券）作为特征加入(其他模型T不作为特征），最终输出
     *  ![在这里插入图片描述][817b01bed242403eb7113f31f60c1d6b.png]
 *  **NN-Based Method**
 *  **聚类：** 从目标上我们想圈一部分uplift高的人，且无label指导，从这个角度可能可以借鉴思路

# 2 uplift方法一：元学习方法（Meta-learning methods） #

我们之前一直以ATE为例，实际观测数据中我们经常估计conditional ATE (CATE)，有些研究可能只关注treatment或者control组的ATE，分别叫ATT和ATC（有些情况下ATE无法估计）  
该系列方法默认假定unconfoundedness（CIA假定） & positivity（正值假设）

而且，该方法是需要设立实验组treatment与对照组control的，所以是RCM理论下的产物。

Meta-learning methods方法的优缺点:

*  【优点】：利用了既有预测算法的预测能力，方便易实现。
 *  【缺点】：不直接建模uplift，效果打折扣。

## 2.1 Conditional Outcome Modeling （COM） / S-learner ##

基于之前讨论我们得到ATE的识别为![在这里插入图片描述][ba6c4d0f2b9143c986169b0f3ea6df1d.png]  
右边式子只包含statistical quantities，是statistical estimand。estimation需要我们用data估计estimate。最直接的办法就是我们可以先使用statistical model或者ML model估计conditional expectation，之后进行样本估计。  
这里的估计，**在实践看来其实就是利用`模型的预测值`**

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16]  
存在问题：当数据纬度变大时，容易产生估计偏差 (estimate biased towards 0！），这个很直观，假设数据有100维，T只是其中1维，模型训练时容易忽略这个维度，导致计算出来ATE -> 0，进而引出Grouped COM。

S-learner是将treatment作为特征，干预组和非干预组一起训练，解决了bias不一致的问题，但是如果本身X的high dimension可能会导致treatment丢失效果：

*  【优点】S-Learner简单直观、直接使用既有预测算法；预测仅依赖一个模型，避免了多模型的误差累积；更多的数据和特征工程对预测准确率有利。
 *  【缺点】但是该方法不直接建模uplift；且需要额外进行特征工程工作(由于模型拟合的是Y，所以若W直接作为一个特征放进去，可能由于对Y的预测能力不足而未充分利用)。
 *  【应用】在因果推断未受关注之前，诸如”优惠券“发放的问题常用该方法，直接建模”对什么人，发放什么面额券，是否会下单“，预测阶段则对User和Coupon交叉组合后进行预测，得到(User,Coupon)组合的下单率，然后再依据预算、ROI或其他约束进行MCKP求解。

> 简单来看就是：  
>  C A T E = ( Y . p r e d ∣ T = 1 , W , X ) − ( Y . p r e d ∣ T = 0 , W , X ) CATE = (Y.pred|T=1,W,X) - (Y.pred|T=0,W,X) CATE=(Y.pred∣T=1,W,X)−(Y.pred∣T=0,W,X)  
> 这里的y.pred就是模型的预测值。

## 2.2 Grouped COM (GCOM) / T-Learner ##

GCOM引入为了解决COM中estimate biased towards to 0的问题，为了加强模型对T的权重，我们在估计 u u u时，分别对treatment组和control组使用不同的模型，其他流程与COM一样，也常叫T-Learner。

![在这里插入图片描述][0184404670bc455eb8d09bd078640a84.png]

存在问题：每个estimator只使用部分数据，尤其当样本不足或者treatment、control样本量差别较大时，模型variance较大（对数据利用效率低），我们需要提升数据利用率！

*  【优点】T-Learner一样简单直观、直接使用既有预测算法；将不同的数据集中的增量效果转换为模型间的差异，不需要太多的特征工程工作；当有随机试验的数据时该方法作为baseline很方便。
 *  【缺点】容易出现两个模型的Bias方向不一致，形成误差累积，使用时需要针对两个模型打分分布做一定校准；同时当数据差异过大时(如数据量、采样偏差等)，对准确率影响较大。

进而引出接下来2个model TARNet和X-Learner。

> 简单来看，这里会构建两个模型，treatment / control 两个：  
>  C A T E = ( Y . p r e d 1 ∣ T = 1 , W , X ) − ( Y . p r e d 2 ∣ T = 0 , W , X ) CATE = (Y.pred1 |T=1,W,X) - (Y.pred2|T=0,W,X) CATE=(Y.pred1∣T=1,W,X)−(Y.pred2∣T=0,W,X)  
> 这里的 y . p r e d 1 y.pred1 y.pred1就是模型1treatment的预测值, y . p r e d 2 y.pred2 y.pred2就是模型2control的预测值。

## 2.3 X-Learner ##

充分利用数据估计每个group的estimator，对于数据倾斜很严重的估计有很好的弥补作用。X-learner估计步骤如下：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
X-Learner在T-Learner基础上，利用了全量的数据进行预测，主要解决Treatment组间数据量差异较大的情况。但流程相对复杂、计算成本较高，有时还会由于多模型误差累积等问题效果不佳。  
另外，不论是分类问题还是回归问题，在 计算最终效应步骤时，都需要使用回归模型来拟合。

> 简单来看，这里同样会构建两个模型，treatment / control 两个：  
>  C A T E = \[ ( Y . t r u e 1 ∣ T = 1 , W , X ) − ( Y . p r e d 1 ∣ T = 1 , W , X ) \] − \[ ( Y . t r u e 2 ∣ T = 0 , W , X ) − ( Y . p r e d 2 ∣ T = 0 , W , X ) \] CATE = \[(Y.true1 |T=1,W,X) - (Y.pred1|T=1,W,X)\]-\[(Y.true2 |T=0,W,X) - (Y.pred2|T=0,W,X)\] CATE=\[(Y.true1∣T=1,W,X)−(Y.pred1∣T=1,W,X)\]−\[(Y.true2∣T=0,W,X)−(Y.pred2∣T=0,W,X)\]  
> 这里的 y . p r e d 1 y.pred1 y.pred1就是模型1treatment的预测值与实际值，, y . p r e d 2 y.pred2 y.pred2就是模型2control的预测值与实际值。

## 2.4 R-learner ##

[【Uplift】建模方法篇][Uplift]

R-Learner的思路是通过将问题转化为定义损失函数(R-loss)的形式进行学习训练，更关注”残差“。该方法原文比较难啃，这里直接列出实现步骤：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 2]

> 不过，实现起来复杂度较高，不是特别实用。

## 2.5 特殊meta学习：The Class Transformation Method ##

[【Uplift】建模方法篇][Uplift]

该方法有点像是S-Learner的升级版，但是又有一些改动。之前看到腾讯看点团队基于该方法进行改动。

该方法适用于Treatment和Outcome都是二类分类的情况，通过将预测目标做单类的转换，从而实现单模型预测。  
首先，考虑随机试验的情况，定义新的目标变量：

![在这里插入图片描述][dc36691a49044a55bde82ef16b1c0c8a.png]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
最后，我们考虑一般情况，适用于非平衡非随机试验的数据，可用任意机器学习算法估计(同CATE)：  
![在这里插入图片描述][4607bc3da04c461d8ecfc31154eb286b.png]  
这里p为倾向性得分

--------------------

# 3 uplift方法二：Tree-Based Method（增量直接建模） #

传统机器学习模型中，树模型主要的思路就是通过对特征点进行分裂，将X划分到一个又一个subspace中，这与补贴场景下，希望找到某一小部分增量很高的用户的想法几乎是完美重合。  
因此，与meta-learner不同的是，uplift model下的树模型希望通过这样的分裂方式达到对增量直接建模的目的。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
传统分类树模型是希望通过信息理论(information theory)中的信息熵等思想，用计算信息增益的方法去解决分类问题。而在uplift tree model中，其本质也还是想要通过衡量分裂前后的变量差值去决策是否分裂节点，不过这里的这个决策差值的计算方法不再是信息增益(information gain)，而是不同的直接对增量uplift建模的计算方法，其中包括了利用分布散度对uplift建模、直接对uplift建模的CTS 、 CausalForest。

## 3.1 分布散度下的Uplift-Tree ##

分布散度是用来度量两个概率分布之间差异性的值，当两个分布相同时，两个离散分布的散度为非负且等于零。我们可以把实验组和对照组理解为两个概率分布，然后利用分布散度作为非叶节点分裂标准，最大化实验组和对照组的样本类别分布之间的差异，减少样本不确定度。常见的分布散度有KL 散度 (Kullback-Leibler divergence)、欧式距离 (Squared Euclidean distance) 和卡方散度(Chi-squared divergence)，在uplift model中，其具体计算方法如下:  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 5]

除此以外，分布散度还有个特点：通过公式可以推导，当结点中对照组数据为空时，KL散度会退化为决策树分裂准则中的信息增益；欧式距离和卡方散度将会退化为基尼指数。而当结点中实验组数据为空时，欧式距离将会化为基尼指数。这也是该类分裂准则的优点之一。

## 3.2 CausalForest ##

这个方法与其说是一个算法，不如说是一类算法，他们的核心都是把一个个建立好的causal tree (uplift tree)做一个ensemble，然后把每棵causal tree (uplift tree)计算出来的treatment effect取一个平均。  
而对于CausalForest，这里可以是任意单Tree-Based方法。  
当然如果要这么做，其实我们需要满足一个assumption，就是unconfoundedness(CIA),就是在叶子结点上控制住所有的confounder X后，treatment和outcome要独立。  
所以方法很简单，难点在于怎么建立causal tree才能满足。我们要建一棵"诚实树"，即honest tree。  
简单来说，就是我们对于任意样本 i i i，他的  Y i Yi Yi要不然只能用来做  u ( x ) u(x) u(x)的预测，要不然只能用来做树的分裂依据，只能二选一。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 6]

## 3.3 对uplift直接建模的CTS Tree ##

MIT的Zhao Yan 等人在2017年提出了一种新的名为CTS的分裂准则去构建Uplift Tree。CTS algorithm是Contextual Treatment Selection的缩写。不同于分布散度，在该标准下，我们会直接最大化每个节点上实验组和对照组之间label期望的差值（可以理解为该节点上样本的Uplift值），并以此来分裂节点。  
CTS树具体构造流程为：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 7]

这里重点介绍其与上述Uplift Tree的区别：

分裂准则：仍是分裂后与分裂前得分之差，区别在于Uplift Tree的得分用的是分布散度，而这里的目标是分裂能够最大化结点内各个Treatment中最大的Y值期望。  
【个人理解：任务目标是选择何种treatment(包括control组)能带来最大收益，因此分裂出期望最大即可】

--------------------

# 4 NN-Based Method #

## 4.1 DragonNet ##

基于神经网络的方法比较新，这里简单举一个例子——DragonNet。该方法主要工作是将propensity score估计和uplift score估计合并到一个网络实现。  
首先，引述了可用倾向性得分代替X做ATE估计

![在这里插入图片描述][231d9c9f2d8045ce9cf8cbd86f228ec7.png]  
然后，为了准确预测ATE而非关注到Y预测上，我们应尽可能使用X 中与 T 相关的部分特征。

--------------------

# 5 Uplift Model 模型评估 #

常用分类和回归算法，可以通过 AUC、准确率和 RMSE 等去评估模型的好坏。而由于Uplift Model 中不可能同时观察到同一用户在不同干预策略下的响应，即无法获取用户真实增量， 我们也就无法直接利用上述评价指标去衡量模型的好坏。因此，Uplift Model 通常都是通过划分十分位数来对齐实验组和对照组数据，去进行间接评估。常用的评估方 法有 Qini 曲线、AUUC 等。

参考：

*  [【Uplift】评估方法篇][Uplift 1]

## 5.1 离线评估方法：Qini curve ##

Qini 曲线是衡量 Uplift Model 精度方法之一，通过计算曲线下的面积，类似 AUC 来评价模型的好坏。

其计算流程如下  
(1) 在测试集上，将实验组和对照组分别按照模型预测出的增量由高到底排序，根据用户数量占实验组和对照组用户数量的比例，将实验组和对照组分别划分为十份，分别是 Top10%, 20%, . . . , 100%。  
(2) 计算Top10%,20%,…,100%的Qini系数，生成Qini曲线数据(Top10%,Q(Top10%)),  
(…,…), (Top100%, Q(Top100%))。Qini 系数定义如下:  
![在这里插入图片描述][8632613764e24367830c14b675dbbbf3.png]  
可以看出，Qini 系数分母是实验组和对照组的总样本量，如果实验组和对照组用户数量差别比较大，结果将变得不可靠。

## 5.2 离线评估方法：AUUC ##

AUUC(Area Under the Uplift Curve) 的计算流程与 Qini 曲线的计算流程一样，计算前 10%、20%、. . . 、100% 的指标，绘制曲线，然后求曲线下的面积，衡量模型的好坏。不同是 AUUC 指标计算方法与 Qini 指标计算不同，AUUC 指标定义如下:  
![在这里插入图片描述][c21227235bed47b5a7839f233ea9def5.png]  
与 Qini 指标含义相同，当 i 取10% 时， n ( i ) n(i) n(i)表示实验组前 10% 用户数量， n ( i ) n(i) n(i)表示对照组前 10% 用户数量。  
可以看出，AUUC 指标计算方法可以避免实验组和对照组用户数量差别较大导致的指标不可靠问题。

值得注意的是，当分桶时，对照组边界点预估出的增量与实验组边界点的预估值有较大差别时候，以上的两个评估指标似乎都显得不那么可靠了。因此在实际中，我们使用的往往是AUUC 另外的一种计算方法。

## 5.3 线上评估方法——腾讯的A/B 测试得到效应 ##

最好的验证模型或策略效果的方法就是做线上的AB实验。在设计AB实验对比时，要小心处理目标的数据范围，在什么节点进行分流。

如果我们想知道的是全局的策略效果，则要在一开始就分流；而如果想知道策略生效部分的效果，则要在策略判定之后，对判定生效的部分进行分流，其中A桶原样返回，B桶生效返回。

下面是腾讯广告做uplift分析的流程图示例，通过线上AB试验的方式给出增量效果。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 8]

## 5.4 Uplift decile charts ##

用第k组内Treatment和Control样本的y之差表示，如下图表示按照uplift得分降序排列后，前50%的样本Treatment是正效果的，而后50%是负效果。

该方法虽然直观，但很难用于进行模型间的对比，如难以说明下面两个模型的优劣。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 9]

--------------------

# 参考文献 #

*  [因果推断–uplift model 评估][uplift model]
 *  [因果推断综述及基础方法介绍（二）][Link 1]
 *  [【Uplift】建模方法篇][Uplift]
 *  [一文读懂uplift model进阶][uplift model 1]
 *  [DiDi Food中的智能补贴实战漫谈][DiDi Food]

[817b01bed242403eb7113f31f60c1d6b.png]: /images/20220829/63faf390297f4708ab9564908c299871.png
[ba6c4d0f2b9143c986169b0f3ea6df1d.png]: /images/20220829/6dd7bcce48df4061a55c2a36bddff62e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/208e1b04ed1d4e24a805b6d9d7459bda.png
[0184404670bc455eb8d09bd078640a84.png]: /images/20220829/5d17ffdb12464fb2aa4e73045332d9fd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/d268eec7edbf4e2baa3854620ea555cc.png
[Uplift]: https://zhuanlan.zhihu.com/p/362788755
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/8538d69ab44d4760ae08125fa4038225.png
[dc36691a49044a55bde82ef16b1c0c8a.png]: /images/20220829/3f474cd91efd4f1e9b835df6c0aca387.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/5af91850168a4c3fb84689a6123d0c0e.png
[4607bc3da04c461d8ecfc31154eb286b.png]: /images/20220829/c44f3b8754c24dbda681597242a7cf8d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220829/43a856e9ee6b47ef93d037234b5fcad0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220829/23d264811dd54a24bc29fb4ed54c65c5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220829/6089d7d90ba8455abd7dbb5a834f7601.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220829/a62533bd84e446cc99e1c895fb944262.png
[231d9c9f2d8045ce9cf8cbd86f228ec7.png]: /images/20220829/d7b46087ae9d4251a7a4d26ab06e2427.png
[Uplift 1]: https://zhuanlan.zhihu.com/p/363082639
[8632613764e24367830c14b675dbbbf3.png]: /images/20220829/c0b9bda3eb5b47ddb8c6dad75408d638.png
[c21227235bed47b5a7839f233ea9def5.png]: /images/20220829/4975cf2dda9d477aa0c89c9455d494a7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220829/dfaa72de0f154673a88e0675b3fc05f0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5oKf5LmZ5bex_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220829/de76131ea8744d239ced4b7fa84008bf.png
[uplift model]: https://zhuanlan.zhihu.com/p/343747851
[Link 1]: https://zhuanlan.zhihu.com/p/366702128
[uplift model 1]: https://mp.weixin.qq.com/s/FOVggFduHKeDr3jidcmqgA
[DiDi Food]: https://mp.weixin.qq.com/s/WU1iILMFdH3RZAbJKFU4WA