京东风控策略面试:Lift 高,为什么上线没效果?

面试官现场给的场景很常见:一条新规则,单测分段 lift 2.4,看着不错,加进策略上线了,发现风险几乎没动。问题出在哪?

如果排除客群变化的影响,其实还有个 Lift 口径的问题。题目里明显提到了单独测试的 Lift,但没有考虑融入策略里是什么样的,所以要考虑使用边际 Lift,看增益,排除旧规则的影响。

本次我就把 Lift 的4个口径掰开揉碎了讲一讲。看到第三个,标题的答案就出来了。

  • 分段 Lift
  • 累计 Lift
  • 边际 Lift
  • 加权 Lift

下面用一个示例来说明,10000个客户,整体坏账率5%,模型分按照10等分,D1-D10风险越来越高。我们以D8为例来说明4种口径的计算过程、使用逻辑。京东风控策略面试:Lift 高,为什么上线没效果?

01. 分段 Lift

第一个是分段Lift。大部分风控同学用的可能是第一种分段 Lift,这种计算最简单易懂,代表分段内的坏客户浓度对整体平均的倍数大小,倍数越高代表坏的程度越高。

分段 Lift = 段内坏账率 ÷ 整体坏账率

D8 分段 lift = 7% / 5% = 1.4

用法上,一般会看头尾部两端,尾部用于拦截高风险,头部用于回捞低风险。和做风控策略的核心思想是一样的,先筛选最有把握的客户,对应着头尾部,中间段客户风险模糊,交给其他维度策略来筛选,所有规则和策略节点逐层筛选。京东风控策略面试:Lift 高,为什么上线没效果?

02. 累计 Lift

在第一种的基础上的一个变种,所谓累计看的是什么?

累计看的不是单个的分段,而是以某个分段作为切分阈值后,对应拒绝段的坏账率对整体坏账率的倍数,将阈值从低到高全部遍历一遍,就得到累计 lift 的曲线。

累计 Lift = 拒绝段的坏账率 ÷ 整体坏账率

D8 分段 lift =((70+100+150)/ 3000)/5% ≈ 2.13

那问题来了,累计 Lift 和分段 Lift 有什么区别?如何使用?

区别上,是这样的:

  • 累计 Lift 从 1 开始,曲线图更平滑

  • 分段 Lift 起始不一定是1,曲线图更波动

京东风控策略面试:Lift 高,为什么上线没效果?

原因在于累计 Lift 是从阈值切分的视角来定义的,其本质上是拒绝各分段的加权平均,权重是分段内样本占拒绝段整体样本的比例,而分段 Lfit 只看单独分段。

举一个例子,如果我们将分段数量划分成更多,不是10等分,是20等分、30等分,那个别分段可能会因样本数量不足导致无法计算出 Lift,此时分段 Lift 为0,但累计 Lift 可能不是0,累计 Lift 可以更好地保持连续性,便于规则阈值选择。

使用上,就是逐渐遍历阈值看分段Lift和累计Lift,以及对通过率有影响的占比。坏账率与通过率平衡的地方即为最佳,就是找平衡的一个过程。

注意:累计lift的第一个值必然是 1.00,因为阈值设在最低风险就意味着拒绝全量样本。这个 1 是边界,不是结论。越往后阈值收紧,拒绝池越小、越纯,累计 lift 就越接近最高风险档的分段 lift,最后两条线在最后一档汇合。

累计 lift 回答的是拒绝池整体有多坏,但它还不能回答标题里的问题:新规则到底带来了多少增量。答案在下一个口径。

03. 边际 Lift

边际Lift看的不仅仅是单个规则了,而是看增益,看当前规则对已有规则的增益效果。这个口径的意义在于,规则不只是单独的个体,它和已有规则融合以后,会有多大提升。

就像我们测试三方数据一样,测试下来单独分段Lift还不错,但放在已有策略或者融入模型里提升就没有了,因为被已有规则或变量替代。因此,这个口径也是东哥会经常看的,是不是真的有用?

边际Lift = 新规则新增拦截人群的坏账率 ÷ 整体坏账率

还是以D8为例。老规则在 D8 命中了 300 人,这 300 人里有 45 个是坏客户,占 15%,lift 是 3.00。这批人在上线新规则之前就已经被拒了,不构成新增。因此,D8边际Lift = (边际坏人数/边际人数)/整体坏账率=(70 − 45)/(1,000 − 300)/5% = 0.714 ≈ 0.71。

京东风控策略面试:Lift 高,为什么上线没效果?

所以 Lift 高,上线没有效果,通常不是模型或规则算错了,而是增益被老规则替代了。D8 的边际 lift 只有 0.71,小于 1,说明这条规则在这的分段上没有新增价值。

04. 加权 Lift

常规情况下,我们做准入规则或者交易规则拦截看的都是人头或笔数的口径,但也一起看金额口径。金额的口径融入了额度的影响,借贷发生的最终的损失分别由批核与额度共同影响。

这里所说的加权 Lift 看的是最终实际损失,就是把笔数换成金额、敞口或预期损失加权后计算的 lift。

这个Lift口径有什么用呢?

笔数口径管的是人有没有抓准,金额口径管的是额度给得合不合理。最终损失等于人数乘以人均损失,人均损失又由额度和损失率共同决定,所以这两道关卡缺一不可:人抓准了但高风险给了高额度,金额 lift 会明显高于笔数 lift;人没抓准、额度还给高了,策略就等于失效。

一条好的额度策略,应该把高额度留给低风险人群,因此正常情况下金额 lift 会低于笔数 lift。如果长期反过来,就是额度与风险错配的信号。不过金额 lift 偏高不只有额度这一个原因,也可能是这批客户天然在大额产品、大额渠道,或者坏客户的损失率本身就高,需要拆开归因,再决定是降额、调产品还是加强核验。

更严格的口径是预期损失 EL = PD × EAD × LGD。只按金额加权会把违约概率和敞口混在一起,按 EL 加权(现金贷里考虑催回)才能把损失率也算进去。

举个例子。比如某条交易欺诈规则的笔数 lift 只有 1.2,但金额 lift 却有 4.5,说明了什么?

客群金额损失很大,但笔数损失一般,说明额度给的偏高。好的额度策略会让金额损失口径比人头或笔数口径要小。换言之,要把高额度给低风险,低额度给高风险。如果给反了金额损失必然高。

当然也有可能是因为几笔大额逾期导致,这里有多种可能,需要具体归因,但这里我们只讨论一般场景。

京东风控策略面试:Lift 高,为什么上线没效果?

写在最后

四种口径都算得对,但它们回答的是四个不同的问题:分段 Lift 回答这一档人有多坏,累计 Lift 回答拒绝池整体有多坏,边际 Lift 回答新规则比老规则多拦到了什么,加权 Lift 回答最终损失和额度是否匹配。

以后再看到一条规则的 lift,先问三个问题:是哪个口径?单测效果如何?扣掉老规则之后还剩多少?金额损失如何?4个问题都弄清楚之后,再决定这条规则值不值得上线。

 

分享到: 文章二维码
© 版权声明

暂无评论

您必须登录才能参与评论!
暂无评论...