SAS信用评分之逻辑回归的变量选择
关于woe的转化,这一部在之前的这篇文章:sas批量输出变量woe值中已经写了,woe也只是简单的公式转化而已,所以在这系列中就不细究了哈。这次的文章我想来讲逻辑回归。你会说逻辑回归就是三个方法:backword stepword forward有什么好讲的。如果你这么说,你的模型就只能停留在机器给你什么结果就是什么结果,那就low了哈。
为什么这么说呢?是因为我发现譬如你输入了300个变量,你设定了sle和sls的显著性水平都是0.05,那么只要是满足“sle和sls的显著性水平都是0.05”的变量就会被筛选出来,这时候就有问题,输入的300个变量中,至少有30个变量是满足上面的显著性水平的条件的,那么你这30个变量难道都要用的模型中吗?
你说可以,你领导都会跟你说不可以,会过拟合,过拟合意味着什么,评分卡在AB两级的客户极少(因为需要满足的条件多),在cde级的客户很多,加入以前100个人来申请,是30个人可以通过的,但是现在你做了模型100个人中只有10个人能通过,那这10个人肯定好的啊。这样子逾期率是降低了,但是批核率也降低了,通过的人少了,老板就问你,你这是让公司怎么赚钱!!!。
那么这时候我们应该做什么,就是精减变量,让只用十几个变量达到30个变量的效果,当然这种30个变量的效果可能很好,但是我们尽量是做到用十几个变量达到30个变量的效果啦。譬如,30个变量达到的ks值是0.326,那么你13个变量可以达到0.316,那也足够拉。
那么现在先贴一个单独的proc logistic 过程。
Ods Output ParameterEstimates=aa ;
proc logistic data=test.RONG_ZX_total12_3 outest=bb ;
model APPL_STATUS_1(event="0")=
woe_N_a_nine_rate
woe_N_t_CREDIT_f
woe_N_ACCOUNT_CREDITCARD
woe_N_q_othree_cnt
woe_N_q_tlttwelve_cnt
woe_N_cq_cc_rate
woe_N_OPERATOR_num_S
woe_N_CREDOO_SCORE_o
woe_N_CALL_PAY_mrate
woe_n_g_MARITAL_P
woe_n_NAME_CITY
woe_n_industry_o
woe_n_EDUCATION
/selection=s sle=0.05 sls=0.05;
output out=pp
p=pred_status lower=pi_l upper=pi_u;
run;
proc npar1way data=pp noprint;
class APPL_STATUS_1;
var pred_status;
output out=ks_1(keep=_d_ p_ksa rename=(_d_=KS p_ksa=P_value));
run;
这是我在建模中的一个例子。后面的proc npar1way是计算ks值的。
这里是我随便选了13个变量出来,然后跑了一下ks值,但是这里有个问题就是那我怎么知道这30个变量中到底哪13个,难道我要一直试嘛,这样子很浪费我的时间也。所以我一早上就在纠结这个问题,但是我又百度不到sas中怎么实现C2013随机数的产生。所以我在纠结中就想出以下这种方法,不过要是哪位大神指导C2013 怎么实现还是希望留言区指导,我可以继续学习。
那么接下来就贴下我的代码吧,代码就是以ks为衡量指标,希望找出一种组合的ks是比较高的。
%macro var_namelist(data=,coltype=,tarvar=,dsor=);
%let lib=%upcase(%scan(&data.,1,'.'));
%let dname=%upcase(%scan(&data.,2,'.'));
%global var_list var_num;
proc sql ;
create table &dsor. as
select name
from sashelp.VCOLUMN
where left(libname)="&lib." and left(memname)="&dname." and type="&coltype." and lowcase(name)^=lowcase("&tarvar.") ;
quit;
%mend;
%macro pub_survey(data,dvar,n,start,end,by);
proc datasets lib=work;
delete result_1;
run;
%do i=&start. %to &end. %by &by.;
%var_namelist(data=&data.,coltype=num,tarvar=&dvar.,dsor=aa);
proc surveyselect data=aa
out=bb
method =srs
n=&n.
seed =&i.;
run;
data _null_;
set bb;
call symput (compress("var"||left(_n_)),compress(name));
call symput(compress("n"),compress(_n_));
run;
%put &var1.;
Ods Output ParameterEstimates=gg ;
proc logistic data=&data. outest=bb ;
model &Dvar. (event="0")=
&var1. &var2. &var3. &var4. &var5. &var6. &var7. &var8. &var9. &var10. &var11.
&var12. &var13.
/selection=s sle=0.05 sls=0.05;
output out=pp
p=pred_status lower=pi_l upper=pi_u;
run;
proc npar1way data=pp noprint;
class &Dvar.;
var pred_status;
output out=ks_1(keep=_d_ p_ksa rename=(_d_=KS p_ksa=P_value));
run;
data result;
set ks_1(keep=ks);
length value $500.;
value=compress("&var1."||","||"&var2."||","||"&var3."||","||"&var4."||","||"&var5."||","||"&var6."||","||"&var7."||","||"&var8."||","||"&var9."||","||"&var10."||","||"&var11."||","||"&var12."||","||"&var13.");
run;
Proc append base=result_1 data=result force;run;
%end ;
proc sort data=result_1;by ks;
run;
%mend;
老样子啦,说下这宏怎么用。宏都是我调试过,应该没错,就是你的原数据集,要只留下你要用来循环的变量以及因变量,别的你都不要哈,乖,听我话。
Data:填入的是原数据集;
Dvar:填入因变量
N:填入你想最终模型的个数,建议10-15个吧。
Start:这里填的是seed种子数,次种子出不来.avi哈。建议是4位数以上,不知道sas随机过程中seed的种子数的自行百度。
End:你要种子循环的尽头。尽量设大点,我是建议循环个1000 2000次最好啦。
By:种子循环的区间,就是你是每隔200个数取一个数还是20个数之间取一个数。譬如你设定start=1000,end=1500,by=100,那就是种子等于1000,1100,1200,1300,1400,1500这五个数。再强调一次,输入数据集值保留你要这筛选的变量以及因变量,其余的主键什么的,你别加进去哈。
好的,这时候我要上结果图了:
这就是结果图。Ks升序排序,可以看到我循环了三次,最好的是第三次,帅选的13个变量里面,ks可以达到0.301,变量value中就是达到ks值的13个变量。但这只是我循环三次的结果啦。我是建议最好循环个1000次2000次。你就下班的时候放着跑,明天上班来收成果就好了,上班时间盯着屏幕。是跑不完的。数据分析师培训
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14