留一交叉验证及SAS代码

在数据量很少，用什么模型？我们总结过当数据量很少时如何选择模型和方法，以使得数据能够最大限度的得到利用。

其中有一个方法就是做交叉验证。

我有备选的模型G(x1, x2, x3)， G(x1, x5, x6), F(x1, x2, x3)，想知道哪一个预测的效果好。不能做样本内预测（就是用样本训练出模型，再用同样的样本代到模型中看准确度），样本量太少，再分成训练集和测试集就更少的可怜了，怎么办？

K折交叉验证可以充分利用少样本的信息。

K折交叉验证是将样本分成K个子样本集，拿出其中的K-1个子样本集来训练模型，用剩下的1个子样本集来对模型进行验证；再拿出K-1个训练模型，留下另外1个（与上一步的不同）子样本集进行验证......，如此交叉验证K次，每个子样本集验证1次，平均K次的结果作为一个模型的预测效果。

而本文想说的留一交叉验证（Leave-one-out cross validation, LOOCV）就是这种方法的极端情况：

假设只有10个样本（真的很小啊），每次拿出其中9个来训练模型，用剩下一个进行测试，得到一个测试结果（真实值与预测值的差异）；再拿出另外9个进行训练，留下另外一个进行测试......如此验证10次（每个样本都能轮到一次验证样本），将10次的预测效果平均，就可以评价这个模型的好坏。

留一交叉验证就是留下1个单样本，将其他所有样本拿来做训练。可以充分利用小样本的信息。

下面分享一下数说君留一交叉验证的SAS代码，样本量假设为30：

*样本量30;

%let K=30;

 

*为数据增加一个变量：index，标识出观测值的ID（从1到30）;

data sample;

set sample;

index = _n_;

run;

 

  *用全30个样本建模看一下;

  proc reg data=sample;

  model y= x1 x2 x3;

  run;

 

data sample_all;

set sample;

selected = .;

replicate = .;

run;

 

*每次模型将一个样本留作测试，其他用来训练样本，重复30次，那我们就建立30个数据集，并将这30个数据集合在一起;

%macro generateData;

 

%do i = 1%to &K;

 

*每次选择一个观测值，其selected=0，意为测试样本，其他29个均为1，意为训练样本。

data temp;

set sample;

if index = &i thenselected = 0;

else selected = 1;

replicate =&i;

run;

 

data sample_all;

set sample_all temp;

run;

 

%end;

 

data sampleOut;

set sample_all;

where selected ^= .;

run;

 

%mend;

 

*运行宏;

%generateData;

 

 

*slelected=0的样本意为一个数据集中的测试样本，我们看一下是否每个观测值都轮到一次测试;

  proc print data=sampleOut;

  where Selected=0;

  var Selected id;

  run;

 

  data sampleOut;

  set sampleOut;

   if selected then new_y=y;

  run;

 

*计算selected=0的样本、也就是测试样本的预测值;

  proc reg data=sampleOut;

    model new_y=x1 x2 x3;

   by replicate;

   outputout=out1(where=(new_y=.)) predicted=y_hat;

  run;

 

  data out2;

  set out1;

   d=y-y_hat;

   absd=abs(d);

  run;

 

*画出预测值与真实值的散点图;

proc gplot data=out2;

plot y*y_hat;

run;

 

  proc summary data=out2;

  var d absd;

  outputout=out3std(d)=rmse mean(absd)=mae sum(d)=sumd;

  run;

 

 *计算y与y_hat的相关系数，以及y=y_hat的R方（这个常被用于评价模型的拟合好坏）;

 proc corr data=out2 pearson out=corr(where=(_TYPE_='CORR'));

  var y ;

  with y_hat;

 run;

 

 data corr;

  set corr;

  Rsqrd=y**2;

 run;