【SAS宏】使用WOE和IV实现风险因素筛选

在信用风险评估领域，信用评分卡模型在国内外都是一种非常成熟的预测模型，无论是使用传统的Logistic回归建模乃至一些使用Neural networks算法建模，变量筛选都是整个建模过程中至关重要的一步。建模工作人员通过变量筛选的结果能够迅速识别那些最具预测能力的风险因素。

Core concepts

首先介绍一下WOE（Weight Of Evidence）

一般情况下我们将违约客户标记为1，正常客户标记为0。那么WOE其实就是自变量取某个值时对违约比例的一重影响。其计算公式如下：

通过WOE的计算公式可以发现其反映的是在自变量每个分组下坏客户对好客户的比例与总体坏客户对好客户占比之间的差异，所以我们可以直观的认为WOE蕴含了自变量取值对于应变量（0,1）的影响。同时，WOE的计算形式与Logistic regression中的Logit变换非常相似，故可直接使用自变量的WOE值代替原自变量。

想必有的读者已经发现WOE无法对连续变量进行转换，事实上对于连续变量（或者分类繁杂的离散变量），通常使用区间切分的方式将其转换成离散形式，进而通过聚类的方法完成区间的切分，并进行最终的WOE计算。

然后介绍一下IV值（Information Value)

IV值衡量的是某变量所含的信息量，其计算公式如下：

      通过公式可以看到IV值其实是WOE值的一个加权求和，其值的大小决定了该自变量对于目标变量的影响程度（不难发现IV值公式和信息熵的公式非常相似）。

Advantages

相比其他变量筛选方法，WOE和IV值有两大优势：

1. 它可以对所有分类变量，顺序变量以及连续变量统一进行预测能力的计量。

2. 可以对缺失值进行处理，将其看作一类即可分析信息缺失对于风险是否有影响

Macro

%macroIV(dataset,varnum);

proc sql;

select sum(case when target=1then1else0end), sum(case when target=0then1else0end), count(*) into :tot_bad, :tot_good, :tot_both

from &dataset.;

quit;

/*循环计算每个变量的WOE和IV*/

%doi=1%to&varnum.;

/*计算WOE*/

proc sql;

create table woe&i as

(select"x&i"as variable,

x&i as tier,

count(*) as cnt,

count(*)/&tot_both as cnt_pct,

sum(case when target=0then1else0end) as sum_good,

sum(case when target=0then1else0end)/&tot_good as dist_good,

sum(case when target=1then1else0end) as sum_bad,

sum(case when target=1then1else0end)/&tot_bad as dist_bad,

log((sum(case when target=0then1else0end)/&tot_good)/(sum(case when

target=1then1else0end)/&tot_bad))*100as woe,

((sum(case when target=0then1else0end)/&tot_good)-(sum(case when

target=1then1else0end)/&tot_bad))

*log((sum(case when target=0then1else0

end)/&tot_good)/(sum(case when target=1then1else0end)/&tot_bad)) as pre_iv,

sum(case when target=1then1else0end)/count(*) as outcome

from &dataset.

group by x&i

)

order by x&i;

quit;

/*计算IV*/

proc sql;

create table iv&i as select"x&i"as variable,

sum(pre_iv) as iv

from woe&i; 

quit;

%end;

/*合并IV结果*/

data iv;

length variable$5.;

set iv1-iv&varnum.;

run;

/*根据IV值排序*/

proc sort data=iv;

by decending iv;

quit;

%mend;

Results

为了方便，这里就例举只有10个风险因素的例子，通过结果可以得到IV值由高到低的一个排序以及相应变量的数据缺失情况。

那我们应该如何评价以上10个变量呢？

下表则是公认的评价IV值的关系表（By Siddiqi)。

事实上，IV值小于0.02的变量将被程序自动剔除，因为这些变量被认为是没有预测能力的。另外，值得一提的是IV值大于0.5是可疑的，需要综合分析该变量后谨慎选择。

Final selection

最终选择进入模型的变量不仅需要较高的IV值，还需要考虑数据缺失率，变量分布，模型解释能力等。

Conclusion

根据实践验证，经过WOE变化之后的建模效果及模型的稳定性会比不进行变化的模型有一定的提升，事实上使用WOE来对自变量做编码的一大目的就是使得辨识度最大化。另外，WOE变化之后，自变量具备了标准化的性质，从而自变量各取值之间可以直接通过WOE进行比较，同时，不同自变量之间的各种取值也可以直接通过WOE进行比较。

       通过WOE和IV值的计算，我们可以更直观地理解各自变量对目标变量的作用效果和方向，同时提升最终的预测效果。