京公网安备 11010802034615号
经营许可证编号:京B2-20210330
留一交叉验证及SAS代码
在数据量很少,用什么模型?我们总结过当数据量很少时如何选择模型和方法,以使得数据能够最大限度的得到利用。
其中有一个方法就是做交叉验证。
我有备选的模型G(x1, x2, x3), G(x1, x5, x6), F(x1, x2, x3),想知道哪一个预测的效果好。不能做样本内预测(就是用样本训练出模型,再用同样的样本代到模型中看准确度),样本量太少,再分成训练集和测试集就更少的可怜了,怎么办?
K折交叉验证可以充分利用少样本的信息。
K折交叉验证是将样本分成K个子样本集,拿出其中的K-1个子样本集来训练模型,用剩下的1个子样本集来对模型进行验证;再拿出K-1个训练模型,留下另外1个(与上一步的不同)子样本集进行验证......,如此交叉验证K次,每个子样本集验证1次,平均K次的结果作为一个模型的预测效果。
而本文想说的留一交叉验证(Leave-one-out cross validation, LOOCV)就是这种方法的极端情况:
假设只有10个样本(真的很小啊),每次拿出其中9个来训练模型,用剩下一个进行测试,得到一个测试结果(真实值与预测值的差异);再拿出另外9个进行训练,留下另外一个进行测试......如此验证10次(每个样本都能轮到一次验证样本),将10次的预测效果平均,就可以评价这个模型的好坏。
留一交叉验证就是留下1个单样本,将其他所有样本拿来做训练。可以充分利用小样本的信息。
下面分享一下数说君留一交叉验证的SAS代码,样本量假设为30:
*样本量30;
%let K=30;
*为数据增加一个变量:index,标识出观测值的ID(从1到30);
data sample;
set sample;
index = _n_;
run;
*用全30个样本建模看一下;
proc reg data=sample;
model y= x1 x2 x3;
run;
data sample_all;
set sample;
selected = .;
replicate = .;
run;
*每次模型将一个样本留作测试,其他用来训练样本,重复30次,那我们就建立30个数据集,并将这30个数据集合在一起;
%macro generateData;
%do i = 1%to &K;
*每次选择一个观测值,其selected=0,意为测试样本,其他29个均为1,意为训练样本。
data temp;
set sample;
if index = &i thenselected = 0;
else selected = 1;
replicate =&i;
run;
data sample_all;
set sample_all temp;
run;
%end;
data sampleOut;
set sample_all;
where selected ^= .;
run;
%mend;
*运行宏;
%generateData;
*slelected=0的样本意为一个数据集中的测试样本,我们看一下是否每个观测值都轮到一次测试;
proc print data=sampleOut;
where Selected=0;
var Selected id;
run;
data sampleOut;
set sampleOut;
if selected then new_y=y;
run;
*计算selected=0的样本、也就是测试样本的预测值;
proc reg data=sampleOut;
model new_y=x1 x2 x3;
by replicate;
outputout=out1(where=(new_y=.)) predicted=y_hat;
run;
data out2;
set out1;
d=y-y_hat;
absd=abs(d);
run;
*画出预测值与真实值的散点图;
proc gplot data=out2;
plot y*y_hat;
run;
proc summary data=out2;
var d absd;
outputout=out3std(d)=rmse mean(absd)=mae sum(d)=sumd;
run;
*计算y与y_hat的相关系数,以及y=y_hat的R方(这个常被用于评价模型的拟合好坏);
proc corr data=out2 pearson out=corr(where=(_TYPE_='CORR'));
var y ;
with y_hat;
run;
data corr;
set corr;
Rsqrd=y**2;
run;
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析,是从公式开始的:最小二乘法、残差平方和、R²、t 检验。公式记住了,但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法(Hierarchical Clustering),中文也叫系统聚类法、层次聚类法,是聚类分析里最经典的一类方法 ...
2026-11-10考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Linux & Ubuntu 操作系统基 ...
2026-11-10一、业务背景 在后台列表、管理系统、报表页面的分页需求里,前端通常需要两份数据:当前页的分页记录、符合筛选条件的数据总条 ...
2026-11-09一、需求看起来简单,实际坑不少 "把文本里所有中括号 [] 中间的内容提取出来"——这是文本清洗里最常见的需求之一。日志里的 [I ...
2026-11-09大数据分析师证书考什么 考试范围 PART 1 大数据基础理论 占比(8% ) a. 大数据分析基础(1%) b. Python 基础(5%) c. Li ...
2026-11-09CDA数据分析师 出品 作者:李诗怡 一、数据处理概述 定义: 在正式开展数据分析之前,对原始采集的数据进行整理、修正、加工和精 ...
2026-11-06一、为什么数据要先标准化 拿到一份数据,各列的量纲往往完全不同:年龄单位是"岁"(约 20~60),收入单位是"元"(几千到几万) ...
2026-11-06