sas批量删除重复超过90%的变量

22年前的今天我的妈咪把我带来这个世界，费尽心思把我养到这么大，我就是4月份出生的大白羊，我的生日愿望呢，就是想有个大神在留言板块教我一个怎么识别组合变量更好解释因变量的方法，譬如我怎么知道年龄和婚姻两个变量在一起的效果比单个的效果还要好，但是年龄和性别组合效果并没有那么好。跪求大神实现我的生日愿望吧。

今天还是没有要更新信用评分的内容，更新的内容是关于变量处理中的问题，之前的文章中有过变量处理的章节，这篇文章是对那篇的补充，之前讲过我会把缺失值达到70%的变量删掉。我漏掉一个问题就是变量的重复值达到90%也应该删掉，譬如一个变量有5中情况：ABCDE,但是A的情况的占比就达到90%的时候，除非这个变量剩下的10%全部都是逾期的，不然这样的变量是没有意义，所以今天分享的代码就是批量找出这些变量并在原数据集中删掉。这次的代码也是陈先生提供的。我在陈先生代码的基础上做了一些改动并调试了。

话不多说，上代码：

%macrovar_namelist(data=,tarvar=,dsor=);

%letlib=%upcase(%scan(&data.,1,'.'));

%letdname=%upcase(%scan(&data.,2,'.'));

%globalvar_list var_num;

proc sql ;

create table &dsor.as

select name

from sashelp.VCOLUMN

where left(libname)="&lib."and left(memname)="&dname."and lowcase(name)^=lowcase("&tarvar.");

quit;

%mend;

%macrotest(data,tarvar,data_result,data_drop,rate);

proc datasets lib=work;

delete base;

run;

data base;

length variable$100.;

run;

%var_namelist(data=&data.,/*coltype=num,*/tarvar=&tarvar.,dsor=aa);

data _null_;

set aa;

call symput(compress("var"||left(_n_)),compress(name));

call symput(compress("n"),compress(_n_));

run;

%put&n.;

%doi=1%to&n.;

%put&&var&i.;

proc freq data=&data.(keep=&&var&i.) noprint;

tables &&var&i./out=PERCENT_&&var&i.;

/*(keep=PERCENT)*/

run;

proc sql;

select max(PERCENT) into: max_percent from

PERCENT_&&var&i.;

quit;

%if&max_percent>&rate.%then%do;

data next;

variable="&&var&i.";

run;

proc append base=base data=next force;

run;

%end;

proc datasets lib=work noprint;

delete PERCENT_&&var&i.;

run;

%end;

data base;

set base(where=(variable^=''));

run;

proc transpose data=base out=base1(drop=_name_);

id variable;

run;

/*这步是删除单一变量超过90的重复值的缺失值的可以按照这个写下*/

proc sql noprint;

select name into :var_list separated by' '

from sashelp.VCOLUMN

where upcase(left(libname))="WORK"and UPCASE(left(memname))="BASE1";

quit;

%PUT&var_num1.;

data &data_result.;

set &data.;

drop &var_list.;

run;

data &data_drop.;

set &data.;

keep &tarvar.&var_list.;

run;

%mend;

第一宏不用管，那是为了嵌套在第二个宏里面的。那么接下来介绍下这个宏怎么用。

test(data,tarvar,data_result,data_drop,rate);

data:填入的原数据集。

Tarvar:填入你不想要统计的变量。可以是你的主键也可以是你的因变量，随便你。像我填入的是因变量。

data_result：结果数据集，你的结果数据想叫什么就填什么把。

Data_drop：删掉的变量存放的数据集，给你检查一下有没有错删变量。

Rate:填入的是你觉得重复值达到多少的时候就删掉。我建议的80-90。

下周分享的一个变量人工分段的一个代码。这个代码是我当下除了最优分段之外觉得好用的代码，因为最优分段需要做异常值的检查。有时候异常值检查不好，容易分组的分的不好。这是我个人的经验哈，对于变量分段我之前很崇尚自动分组，我觉得那么多的变量，我一个一个的去细看这无非浪费我的时间，但是我失败的经验告诉我，模型的过程每一步的都应该细致并且仔细，该人工的时候还是要人工，如果全部可以全自动化，那么只要自动运行代码就可以了，谁都可以建模了。