
SAS—基于熵的连续变量的离散化
今天介绍下整个程序逻辑及sas代码的详细介绍。
首先宏 %BinContVard调用了宏%CandSplits;然后宏%CandSplits又调用宏
%BestSplit、%GValue;最后通过宏%ApplyMap应用于数据集。
下表是%BinContVar的参数
%BinContVar(Dsin,IVVar,DVVar,MMax,Acc,DsVarMap)
参数
描述
DSin
输入数据集
IVVar
连续自变量
DVVar
二元因变量
MMax
设定的分组数量
Acc
最小分段的百分比规模
DsVarMap
包含映射规则的输出数据集
首先,将初始数据集等距分为10段,然后把这些段数看作名义变量,基于熵方差利用最优二元分类法找出最优分群。
宏%bincontvar的主要是作用是连续变量的最优分段,嵌套了%CandSplits,这个宏的作用是对分段后的数据集在进行分群,并选出最优分群;宏%CandSplits嵌套了%BestSplits和%GValue两个宏:宏%BestSplits是找出最优分群,宏%GValue计算熵方差。
/*连续变量的最优分段*/
/*
1.找出连续变量的最大最小值;
2.对连续变量进行等距分段,并把这些段数看成名义变量;
3.对2所分段数进行最优分群,直到所设置的分群数
*/
%macro BinContVar(DSin, IVVar, DVVar, MMax, Acc, DSVarMap);
%local VarMax VarMin;
proc sql noprint;
select min(&IVVar), max(&IVVar) into :VarMin, :VarMax from &DSin;
quit;
%local Mbins i MinBinSize;
%let Mbins=%sysfunc(int(%sysevalf(1.0/&Acc)));/*设置等距分段数*/
%let MinBinSize=%sysevalf((&VarMax-&VarMin)/&Mbins);/*每段的长度*/
/*定义每段后每段的最大最小值*/
%do i=1 %to %eval(&Mbins);
%local Lower_&i Upper_&i;
%let Upper_&i = %sysevalf(&VarMin + &i * &MinBinSize);
%let Lower_&i = %sysevalf(&VarMin + (&i-1)*&MinBinSize);
%end;
%let Lower_1 = %sysevalf(&VarMin-0.0001);
%let Upper_&Mbins=%sysevalf(&VarMax+0.0001);
/*对连续变量 income 进行等距分段*/
data Temp_DS;
set &DSin;
%do i=1 %to %eval(&Mbins-1);
if &IVVar>=&&Lower_&i and &IVVar < &&Upper_&i Then Bin=&i;
%end;
if &IVVar>=&&Lower_&Mbins and &IVVar <= &&Upper_&MBins Then Bin=&MBins;
run;
/*计算出等距分段的每段最值*/
data temp_blimits;
%do i=1 %to %Eval(&Mbins-1);
Bin_LowerLimit=&&Lower_&i;
Bin_UpperLimit=&&Upper_&i;
Bin=&i;
output;
%end;
Bin_LowerLimit=&&Lower_&Mbins;
Bin_UpperLimit=&&Upper_&Mbins;
Bin=&Mbins;
output;
run;
proc sort data=temp_blimits;
by Bin;
run;
/*找出每段分段对应的二元自变量每个类别的频数*/
proc freq data=Temp_DS noprint;
table Bin*&DVvar /out=Temp_cross;
table Bin /out=Temp_binTot;
run;
proc sort data=temp_cross;
by Bin;
run;
proc sort data= temp_BinTot;
by Bin;
run;
data temp_cont;
merge Temp_cross(rename=count=Ni2 )temp_BinTot(rename=Count=total) temp_BLimits ;/*Ni2:每个分段下对应类别的频数 total:每个分段下的总频数*/
by Bin;
Ni1=total-Ni2;
PDV1=bin;
label Ni2= total=;
if Ni1=0 then output;
else if &DVVar=1 then output;
drop percent &DVVar;
run;
data temp_contold;
set temp_cont;
run;
/*合并所有含有ni1、ni2 、total= 0 的分段*/
proc sql noprint;
%local mx;
%do i=1 %to &Mbins;
select count(*) into : mx from Temp_cont where Bin=&i;
%if (&mx>0) %then %do;
select Ni1, Ni2, total, bin_lowerlimit, bin_upperlimit into
:Ni1,:Ni2,:total, :bin_lower, :bin_upper
from temp_cont where Bin=&i;
%if (&i=&Mbins) %then %do;
select max(bin) into :i1 from temp_cont where Bin<&Mbins;
%end;
%else %do;
select min(bin) into :i1 from temp_cont where Bin>&i;
%end;
%if (&Ni1=0) or (&Ni2=0) or (&total=0) %then %do;
update temp_cont set
Ni1=Ni1+&Ni1 ,
Ni2=Ni2+&Ni2 ,
total=total+&Total
where bin=&i1;
%if (&i<&Mbins) %then %do;
update temp_cont set Bin_lowerlimit = &Bin_lower where bin=&i1;
%end;
%else %do;
update temp_cont set Bin_upperlimit = &Bin_upper where bin=&i1;
%end;
delete from temp_cont where bin=&i;
%end;
%end;
%end;
quit;
proc sort data=temp_cont;
by pdv1;
run;
%local m;
/*将所有类别定义为宏变量m*/
data temp_cont;
set temp_cont;
i=_N_;
Var=bin;
Bin=1;
call symput("m", compress(_N_));
run;
%local Nbins ;
%let Nbins=1;
%DO %WHILE (&Nbins <&MMax);
/*从所有候选分群中根据熵选择最优分群*/
%CandSplits(temp_cont, Temp_Splits);
Data Temp_Cont;
set Temp_Splits;
run;
%let NBins=%eval(&NBins+1);
%end;
data temp_Map1 ;
set temp_cont(Rename=Var=OldBin);
drop Ni2 PDV1 Ni1 i ;
run;
proc sort data=temp_Map1;
by Bin OldBin ;
run;
data temp_Map2;
retain LL 0 UL 0 BinTotal 0;
set temp_Map1;
by Bin OldBin;
Bintotal=BinTotal+Total;
if first.bin then do;
LL=Bin_LowerLimit;
BinTotal=Total;
End;
if last.bin then do;
UL=Bin_UpperLimit;
output;
end;
drop Bin_lowerLimit Bin_upperLimit Bin OldBin total;
run;数据分析师培训
proc sort data=temp_map2;
by LL;
run;
data &DSVarMap;
set temp_map2;
Bin=_N_;
run;
%mend;
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29CDA 数据分析与量化策略分析流程:协同落地数据驱动价值 在数据驱动决策的实践中,“流程” 是确保价值落地的核心骨架 ——CDA ...
2025-08-29CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28PCU:游戏运营的 “实时晴雨表”—— 从数据监控到运营决策的落地指南 在游戏行业,DAU(日活跃用户)、MAU(月活跃用户)是衡量 ...
2025-08-28Excel 聚类分析:零代码实现数据分群,赋能中小团队业务决策 在数字化转型中,“数据分群” 是企业理解用户、优化运营的核心手段 ...
2025-08-28CDA 数据分析师:数字化时代数据思维的践行者与价值推动者 当数字经济成为全球经济增长的核心引擎,数据已从 “辅助性信息” 跃 ...
2025-08-28ALTER TABLE ADD 多个 INDEX:数据库批量索引优化的高效实践 在数据库运维与性能优化中,索引是提升查询效率的核心手段。当业务 ...
2025-08-27Power BI 去重函数:数据清洗与精准分析的核心工具 在企业数据分析流程中,数据质量直接决定分析结果的可靠性。Power BI 作为主 ...
2025-08-27CDA 数据分析师:数据探索与统计分析的实践与价值 在数字化浪潮席卷各行业的当下,数据已成为企业核心资产,而 CDA(Certif ...
2025-08-27t 检验与 Wilcoxon 检验:数据差异比较的两大统计利器 在数据分析中,“比较差异” 是核心需求之一 —— 如新药疗效是否优于旧药 ...
2025-08-26季节性分解外推法:解锁时间序列预测的规律密码 在商业决策、资源调度、政策制定等领域,准确的预测是规避风险、提升效率的关键 ...
2025-08-26CDA 数据分析师:数据治理驱动下的企业数据价值守护者 在数字经济时代,数据已成为企业核心战略资产,其价值的释放离不开高 ...
2025-08-26基于 SPSS 的 ROC 曲线平滑调整方法与实践指南 摘要 受试者工作特征曲线(ROC 曲线)是评估诊断模型或预测指标效能的核心工具, ...
2025-08-25神经网络隐藏层神经元个数的确定方法与实践 摘要 在神经网络模型设计中,隐藏层神经元个数的确定是影响模型性能、训练效率与泛 ...
2025-08-25CDA 数据分析师与数据思维:驱动企业管理升级的核心力量 在数字化浪潮席卷全球的当下,数据已成为企业继人力、物力、财力之后的 ...
2025-08-25CDA数据分析师与数据指标:基础概念与协同逻辑 一、CDA 数据分析师:数据驱动时代的核心角色 1.1 定义与行业价值 CDA(Certified ...
2025-08-22Power Query 移动加权平均计算 Power Query 移动加权平均设置全解析:从原理到实战 一、移动加权平均法的核心逻辑 移动加权平均 ...
2025-08-22描述性统计:CDA数据分析师的基础核心与实践应用 一、描述性统计的定位:CDA 认证的 “入门基石” 在 CDA(Certified Data Analy ...
2025-08-22