R语言回归分析之影响分析

说明

影响分析就是探查对估计有异常影响的数据，如果一个样本不遵从某个模型，但是其余数据遵从这个模型，称为这个样本点为强影响点，也称为高杠杆点，影响分析的一个重要功能就是区分这样的数据。
影响分析的方法有 dffits,dfbeta,dfbetas,cooks.distance,covratio,hatvalues,hat.
## 1. 回归分析
21个儿童测试值，x为月份，y为智力
intellect<-data.frame(
    x=c(15, 26, 10,  9, 15, 20, 18, 11,  8, 20, 7,
         9, 10, 11, 11, 10, 12, 42, 17, 11, 10),
    y=c(95, 71, 83,  91, 102,  87, 93, 100, 104, 94, 113,
        96, 83, 84, 102, 100, 105, 57, 121,  86, 100)
)
lm.sol<-lm(y~1+x, data=intellect)
summary(lm.sol)
Call:
lm(formula = y ~ 1 + x, data = intellect)

Residuals:
    Min      1Q  Median      3Q     Max
-15.604  -8.731   1.396   4.523  30.285

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 109.8738     5.0678  21.681 7.31e-15 ***
x            -1.1270     0.3102  -3.633  0.00177 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 11.02 on 19 degrees of freedom
Multiple R-squared:   0.41, Adjusted R-squared:  0.3789
F-statistic:  13.2 on 1 and 19 DF,  p-value: 0.001769

分别通过了t检验与F检验

#回归诊断，调用influence.measures()并做回归诊断图
influence.measures(lm.sol)
Influence measures of
     lm(formula = y ~ 1 + x, data = intellect) :

     dfb.1_    dfb.x    dffit cov.r   cook.d    hat inf
1   0.01664  0.00328  0.04127 1.166 8.97e-04 0.0479    
2   0.18862 -0.33480 -0.40252 1.197 8.15e-02 0.1545    
3  -0.33098  0.19239 -0.39114 0.936 7.17e-02 0.0628    
4  -0.20004  0.12788 -0.22433 1.115 2.56e-02 0.0705    
5   0.07532  0.01487  0.18686 1.085 1.77e-02 0.0479    
6   0.00113 -0.00503 -0.00857 1.201 3.88e-05 0.0726    
7   0.00447  0.03266  0.07722 1.170 3.13e-03 0.0580    
8   0.04430 -0.02250  0.05630 1.174 1.67e-03 0.0567    
9   0.07907 -0.05427  0.08541 1.200 3.83e-03 0.0799    
10 -0.02283  0.10141  0.17284 1.152 1.54e-02 0.0726    
11  0.31560 -0.22889  0.33200 1.088 5.48e-02 0.0908    
12 -0.08422  0.05384 -0.09445 1.183 4.68e-03 0.0705    
13 -0.33098  0.19239 -0.39114 0.936 7.17e-02 0.0628    
14 -0.24681  0.12536 -0.31367 0.992 4.76e-02 0.0567    
15  0.07968 -0.04047  0.10126 1.159 5.36e-03 0.0567    
16  0.02791 -0.01622  0.03298 1.187 5.74e-04 0.0628    
17  0.13328 -0.05493  0.18717 1.096 1.79e-02 0.0521    
18  0.83112 -1.11275 -1.15578 2.959 6.78e-01 0.6516   *
19  0.14348  0.27317  0.85374 0.396 2.23e-01 0.0531   *
20 -0.20761  0.10544 -0.26385 1.043 3.45e-02 0.0567    
21  0.02791 -0.01622  0.03298 1.187 5.74e-04 0.0628
influence.measures(lm.sol)
op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1),
          oma= c(0,0,2,0))
plot(lm.sol, 1:4)
par(op)


influence.measures(lm.sol)函数得到的回归诊断共有7列，
其中1，2列是dfbetas值（对应常数与变量x），
第三例是dffits的准则值，
第三例是covratio的准则值,
第五例是cook值,第6例是帽子值（高杠杆值），
第七例影响点的标记，
inf表明18，19号是强影响点。
对诊断图分析：
第一张图是残差图，残差的方差满足齐性。
第二张图是正态QQ图，除19号外基本都在直线上，也就是说除19号点外残差满足正态性。
第三张图标准差的平方根与预测值的散点图，19号样本的值大于1.5，说明19号样本可能是异常值点（0.95范围外）
第四张图给出了COOK距离值，说明18号点可能是强影响点（高杠杆点）
处理强影响点：首先，是否录入有误。其次，修正数据。如果无法判断是否有误，采用剔除与加权的办法进行修正数据。
n<-length(intellect$x)
weights<-rep(1, n); weights[18]<-0.5
lm.correct<-lm(y~1+x, data=intellect, subset=-19,
               weights=weights)
summary(lm.correct)
Call:
lm(formula = y ~ 1 + x, data = intellect, subset = -19, weights = weights)

Weighted Residuals:
    Min      1Q  Median      3Q     Max
-14.300  -7.539   2.700   5.183  12.229

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 108.8716     4.4290   24.58 2.67e-15 ***
x            -1.1572     0.2937   -3.94 0.000959 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 8.617 on 18 degrees of freedom
Multiple R-squared:  0.4631,    Adjusted R-squared:  0.4333
F-statistic: 15.53 on 1 and 18 DF,  p-value: 0.0009594
在程序中，subset = -19表示去掉19样本。weights<-rep(1, n)所有点权赋为1，weights[18]<- 0.5，18号点为0.5，这样可以直观认为18号点对方程影响减少一半。
验证：两次计算的回归直线，和数据的散点图。
attach(intellect)
par(mai=c(0.8, 0.8, 0.2, 0.2))
plot(x, y, cex=1.2, pch=21, col="red", bg="orange")
abline(lm.sol, col="blue", lwd=2)
text(x[c(19, 18)], y[c(19, 18)],
     label=c("19", "18"), adj=c(1.5, 0.3))
detach()
abline(lm.correct, col="red", lwd=2, lty=5)
legend(30, 120, c("Points", "Regression", "Correct Reg"),
       pch=c(19, NA, NA), lty=c(NA, 1,5),
       col=c("orange", "blue", "red"))

从图中可以看出，19号样本的残差过大，而18号样本对整体回归直线有较大的影响。
检验：看修正之后是否有效
op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1), oma= c(0,0,2,0))
plot(lm.correct, 1:4)
par(op)

修正后的诊断图