SDU项目实训记录4.1——模型稳定性（7.20）

蔚落 2022-08-31 04:42 125阅读 0赞

### SDU项目实训记录4.1——模型稳定性 ###

*  一、PSI（Population Stability Index）
 *  二、代码及结果

# 一、PSI（Population Stability Index） #

**定义：** 群体稳定性指标PSI是衡量模型的预测值与实际值偏差大小的指标；稳定度指标可衡量测试样本及模型开发样本评分的分布差异，为最常见的模型稳定度评估指标。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化。

**计算：** 首先对样本A和样本B得分按照同一标准分为几个区间（类别型变量按类别分），计算样本在每个区间上的占比。在每个区间上，将两个样本各自占比相除再取对数，然后乘以各自占比之差，最后将各个区间的计算值相加，最终得到PSI（类似于IV计算），如下：  
 P S I = ∑ i ( A i / A t − B i / B t ) ∗ l n ( A i / A t B i / B t ) PSI=\\sum\_\{i\}\{(A\_i/A\_t-B\_i/B\_t)\*ln(\\frac\{A\_i/A\_t\}\{B\_i/B\_t\})\} PSI=i∑(Ai/At−Bi/Bt)∗ln(Bi/BtAi/At)

*  PSI < 0.1 样本分布有微小变化
 *  PSI 在 0.1 和 0.2 之间， 样本分布有变化
 *  PSI > 0.2 样本分布有显著变化

重点关注 PSI > 0.2 的变量，说明此变量的分布在建模时与现在已经发生了显著的变化，查找PSI变动的原因，并重新调整模型。

# 二、代码及结果 #

在之前的博客中已经得到训练集x\_train和测试集结果results，features\_saving为特征选择后保留的特征集合。

import math
    A_t = len(x_train)
    B_t = len(results)
    PSI = {
        }
    train_pct = {
        }
    test_pct = {
        }
    for f in features_saving:
        psi_f = 0
        A_i = x_train.groupby('{}_woe'.format(f)).size().values
        # print(A_i)
        B_i = results.groupby('{}_woe'.format(f)).size().values
        A_pct = []
        B_pct = []
        for i in range(len(A_i)):
            A_pct.append(A_i[i]/A_t)
            B_pct.append(B_i[i]/B_t)
            difference = A_i[i]/A_t - B_i[i]/B_t
            ln = math.log((A_i[i]/A_t) / (B_i[i]/B_t))
            psi_f += difference
            psi_f += ln
        train_pct[f] = A_pct
        test_pct[f] = B_pct
        # print(A_pct)
        print(f,':',psi_f)

![在这里插入图片描述][03596a34bbcb4a70a108b860a944172d.png_pic_center]

可以看到只有DebtRadio分布出现了显著变化，主要原因是对数据集预处理中的保留问题，跟同组讨论后再进行最终修改后再返回查看。

为更好展现实际和预测对比情况，可绘制区分度统计图。其中x轴对应各个区间，首先对前文得到的boundaries转换为区间sections（格式(x1,x2)）：

'''转化为区间，方便展示'''
    sections = {
        }
    for k in boundaries:
        bdr = []
        for i in range(len(boundaries[k])-1):
            bdr.append(tuple([round(boundaries[k][i],2),round(boundaries[k][i+1],2)])) #取2位小数
        sections[k] = bdr

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70]  
最终得到各特征的区分度统计图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 1]

[03596a34bbcb4a70a108b860a944172d.png_pic_center]: /images/20220829/7ab33a47e54e42bc9055aed76aa2bab7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70]: /images/20220829/b8d9ecff6817437cbeed3267c59adc78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1OTQyMQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/03848151830c44019b25b25ef907556f.png