R语言回归分析之影响分析
说明
影响分析就是探查对估计有异常影响的数据，如果一个样本不遵从某个模型，但是其余数据遵从这个模型，称为这个样本点为强影响点，也称为高杠杆点，影响分析的一个重要功能就是区分这样的数据。
影响分析的方法有 dffits,dfbeta,dfbetas,cooks.distance,covratio,hatvalues,hat.
## 1. 回归分析
21个儿童测试值，x为月份，y为智力
intellect<-data.frame(
x=c(15, 26, 10, 9, 15, 20, 18, 11, 8, 20, 7,
9, 10, 11, 11, 10, 12, 42, 17, 11, 10),
y=c(95, 71, 83, 91, 102, 87, 93, 100, 104, 94, 113,
96, 83, 84, 102, 100, 105, 57, 121, 86, 100)
)
lm.sol<-lm(y~1+x, data=intellect)
summary(lm.sol)
Call:
lm(formula = y ~ 1 + x, data = intellect)
Residuals:
Min 1Q Median 3Q Max
-15.604 -8.731 1.396 4.523 30.285
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 109.8738 5.0678 21.681 7.31e-15 ***
x -1.1270 0.3102 -3.633 0.00177 **
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 11.02 on 19 degrees of freedom
Multiple R-squared: 0.41, Adjusted R-squared: 0.3789
F-statistic: 13.2 on 1 and 19 DF, p-value: 0.001769
分别通过了t检验与F检验
#回归诊断，调用influence.measures()并做回归诊断图
influence.measures(lm.sol)
Influence measures of
lm(formula = y ~ 1 + x, data = intellect) :
dfb.1_ dfb.x dffit cov.r cook.d hat inf
1 0.01664 0.00328 0.04127 1.166 8.97e-04 0.0479
2 0.18862 -0.33480 -0.40252 1.197 8.15e-02 0.1545
3 -0.33098 0.19239 -0.39114 0.936 7.17e-02 0.0628
4 -0.20004 0.12788 -0.22433 1.115 2.56e-02 0.0705
5 0.07532 0.01487 0.18686 1.085 1.77e-02 0.0479
6 0.00113 -0.00503 -0.00857 1.201 3.88e-05 0.0726
7 0.00447 0.03266 0.07722 1.170 3.13e-03 0.0580
8 0.04430 -0.02250 0.05630 1.174 1.67e-03 0.0567
9 0.07907 -0.05427 0.08541 1.200 3.83e-03 0.0799
10 -0.02283 0.10141 0.17284 1.152 1.54e-02 0.0726
11 0.31560 -0.22889 0.33200 1.088 5.48e-02 0.0908
12 -0.08422 0.05384 -0.09445 1.183 4.68e-03 0.0705
13 -0.33098 0.19239 -0.39114 0.936 7.17e-02 0.0628
14 -0.24681 0.12536 -0.31367 0.992 4.76e-02 0.0567
15 0.07968 -0.04047 0.10126 1.159 5.36e-03 0.0567
16 0.02791 -0.01622 0.03298 1.187 5.74e-04 0.0628
17 0.13328 -0.05493 0.18717 1.096 1.79e-02 0.0521
18 0.83112 -1.11275 -1.15578 2.959 6.78e-01 0.6516 *
19 0.14348 0.27317 0.85374 0.396 2.23e-01 0.0531 *
20 -0.20761 0.10544 -0.26385 1.043 3.45e-02 0.0567
21 0.02791 -0.01622 0.03298 1.187 5.74e-04 0.0628
influence.measures(lm.sol)
op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1),
oma= c(0,0,2,0))
plot(lm.sol, 1:4)
par(op)
influence.measures(lm.sol)函数得到的回归诊断共有7列，
其中1，2列是dfbetas值（对应常数与变量x），
第三例是dffits的准则值，
第三例是covratio的准则值,
第五例是cook值,第6例是帽子值（高杠杆值），
第七例影响点的标记，
inf表明18，19号是强影响点。
对诊断图分析：
第一张图是残差图，残差的方差满足齐性。
第二张图是正态QQ图，除19号外基本都在直线上，也就是说除19号点外残差满足正态性。
第三张图标准差的平方根与预测值的散点图，19号样本的值大于1.5，说明19号样本可能是异常值点（0.95范围外）
第四张图给出了COOK距离值，说明18号点可能是强影响点（高杠杆点）
处理强影响点：首先，是否录入有误。其次，修正数据。如果无法判断是否有误，采用剔除与加权的办法进行修正数据。
n<-length(intellect$x)
weights<-rep(1, n); weights[18]<-0.5
lm.correct<-lm(y~1+x, data=intellect, subset=-19,
weights=weights)
summary(lm.correct)
Call:
lm(formula = y ~ 1 + x, data = intellect, subset = -19, weights = weights)
Weighted Residuals:
Min 1Q Median 3Q Max
-14.300 -7.539 2.700 5.183 12.229
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 108.8716 4.4290 24.58 2.67e-15 ***
x -1.1572 0.2937 -3.94 0.000959 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 8.617 on 18 degrees of freedom
Multiple R-squared: 0.4631, Adjusted R-squared: 0.4333
F-statistic: 15.53 on 1 and 18 DF, p-value: 0.0009594
在程序中，subset = -19表示去掉19样本。weights<-rep(1, n)所有点权赋为1，weights[18]<- 0.5，18号点为0.5，这样可以直观认为18号点对方程影响减少一半。
验证：两次计算的回归直线，和数据的散点图。
attach(intellect)
par(mai=c(0.8, 0.8, 0.2, 0.2))
plot(x, y, cex=1.2, pch=21, col="red", bg="orange")
abline(lm.sol, col="blue", lwd=2)
text(x[c(19, 18)], y[c(19, 18)],
label=c("19", "18"), adj=c(1.5, 0.3))
detach()
abline(lm.correct, col="red", lwd=2, lty=5)
legend(30, 120, c("Points", "Regression", "Correct Reg"),
pch=c(19, NA, NA), lty=c(NA, 1,5),
col=c("orange", "blue", "red"))
从图中可以看出，19号样本的残差过大，而18号样本对整体回归直线有较大的影响。
检验：看修正之后是否有效
op <- par(mfrow=c(2,2), mar=0.4+c(4,4,1,1), oma= c(0,0,2,0))
plot(lm.correct, 1:4)
par(op)
修正后的诊断图
数据分析咨询请扫描二维码
