sas批量删除重复超过90%的变量
22年前的今天我的妈咪把我带来这个世界,费尽心思把我养到这么大,我就是4月份出生的大白羊,我的生日愿望呢,就是想有个大神在留言板块教我一个怎么识别组合变量更好解释因变量的方法,譬如我怎么知道年龄和婚姻两个变量在一起的效果比单个的效果还要好,但是年龄和性别组合效果并没有那么好。跪求大神实现我的生日愿望吧。
今天还是没有要更新信用评分的内容,更新的内容是关于变量处理中的问题,之前的文章中有过变量处理的章节,这篇文章是对那篇的补充,之前讲过我会把缺失值达到70%的变量删掉。我漏掉一个问题就是变量的重复值达到90%也应该删掉,譬如一个变量有5中情况:ABCDE,但是A的情况的占比就达到90%的时候,除非这个变量剩下的10%全部都是逾期的,不然这样的变量是没有意义,所以今天分享的代码就是批量找出这些变量并在原数据集中删掉。这次的代码也是陈先生提供的。我在陈先生代码的基础上做了一些改动并调试了。
话不多说,上代码:
%macrovar_namelist(data=,tarvar=,dsor=);
%letlib=%upcase(%scan(&data.,1,'.'));
%letdname=%upcase(%scan(&data.,2,'.'));
%globalvar_list var_num;
proc sql ;
create table &dsor.as
select name
from sashelp.VCOLUMN
where left(libname)="&lib."and left(memname)="&dname."and lowcase(name)^=lowcase("&tarvar.");
quit;
%mend;
%macrotest(data,tarvar,data_result,data_drop,rate);
proc datasets lib=work;
delete base;
run;
data base;
length variable$100.;
run;
%var_namelist(data=&data.,/*coltype=num,*/tarvar=&tarvar.,dsor=aa);
data _null_;
set aa;
call symput(compress("var"||left(_n_)),compress(name));
call symput(compress("n"),compress(_n_));
run;
%put&n.;
%doi=1%to&n.;
%put&&var&i.;
proc freq data=&data.(keep=&&var&i.) noprint;
tables &&var&i./out=PERCENT_&&var&i.;
/*(keep=PERCENT)*/
run;
proc sql;
select max(PERCENT) into: max_percent from
PERCENT_&&var&i.;
quit;
%if&max_percent>&rate.%then%do;
data next;
variable="&&var&i.";
run;
proc append base=base data=next force;
run;
%end;
proc datasets lib=work noprint;
delete PERCENT_&&var&i.;
run;
%end;
data base;
set base(where=(variable^=''));
run;
proc transpose data=base out=base1(drop=_name_);
id variable;
run;
/*这步是删除单一变量超过90的重复值的缺失值的可以按照这个写下*/
proc sql noprint;
select name into :var_list separated by' '
from sashelp.VCOLUMN
where upcase(left(libname))="WORK"and UPCASE(left(memname))="BASE1";
quit;
%PUT&var_num1.;
data &data_result.;
set &data.;
drop &var_list.;
run;
data &data_drop.;
set &data.;
keep &tarvar.&var_list.;
run;
%mend;
第一宏不用管,那是为了嵌套在第二个宏里面的。那么接下来介绍下这个宏怎么用。
test(data,tarvar,data_result,data_drop,rate);
data:填入的原数据集。
Tarvar:填入你不想要统计的变量。可以是你的主键也可以是你的因变量,随便你。像我填入的是因变量。
data_result:结果数据集,你的结果数据想叫什么就填什么把。
Data_drop:删掉的变量存放的数据集,给你检查一下有没有错删变量。
Rate:填入的是你觉得重复值达到多少的时候就删掉。我建议的80-90。
下周分享的一个变量人工分段的一个代码。这个代码是我当下除了最优分段之外觉得好用的代码,因为最优分段需要做异常值的检查。有时候异常值检查不好,容易分组的分的不好。这是我个人的经验哈,对于变量分段我之前很崇尚自动分组,我觉得那么多的变量,我一个一个的去细看这无非浪费我的时间,但是我失败的经验告诉我,模型的过程每一步的都应该细致并且仔细,该人工的时候还是要人工,如果全部可以全自动化,那么只要自动运行代码就可以了,谁都可以建模了。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14