数据分析与统计推断:线性回归

相关性(correlation)

相关性描述了两个变量之间线性关联的强度，表示符号为R。
属性：

1. 相关系数的幅度(绝对值)测量两个数字变量之间线性关联的强度
2. 相关系数的正负指示关联的方向
3. 相关系数总是介于-1(完美负线性关联)和1(完美正线性关联)之间，R=0指示没有线性关系
4. 相关系数没有单位，不受变量中心点和比例变化的影响
5. X与Y的相关性等同于Y与X的相关性
6. 相关系数对异常点敏感

残差(residuals)

测量线性匹配度

方案1：最小化残差的幅度和
方案2：最小化残差平方和。更常使用，易于计算，残差增幅更大。

使用线性模型对解释变量给定值预测响应变量值称之为预测(prediction)。
使用模型估计原有数据域外的值称之为外推法(extrapolation)。优势预测可能是外推法。

线性回归条件

(1)线性

解释变量和响应变量值间的关系必须是线性的；
存在匹配非线性关系模型的方法；
使用数据散点图scatterplot或残差图residuals plot检查

(2)近似正态残差

残差必须近似正态分布，中心点为0；
如果有异常观察值不遵循正常数据的趋势，有可能不满足该条件
使用残差的直方图或正态概率图检查

(3)恒定可变性

点围绕最小平方和线(the least squares line)的可变性应该大概恒定，暗指残差围绕0的可变性应该大概恒定，这也称为同方差性(homoscedasticity)。
使用残差图residuals plot检查

R squared

评估线性模型拟合度更常使用，通过相关系数平方计算而得；
可以获知线性模型解释响应变量可变性的百分比，剩余可变性无法由模型解释；
介于0和1之间。

使用分类解释变量的回归

异常点类型

线性回归推断

由于我们经常检查解释变量和响应变量之间是否存在关系，对斜率虚假设值经常为0；很少对截距进行推断。
对线性回归的每个估计参数都会损失一个自由度。
我们必须了解所工作的数据：随机样本、非随机样本或总体。如果已有总体数据，假设推断及其p-value结果就毫无意义。如果样本是非随机（有偏）的，结果将不可信。

变异分解(variability partitioning)

t检验是评估x和y线性关系斜率假设检验的证据力度的一种方式。将y可变性分解为可解释和无法解释的可变性，需要使用方差分析ANOVA。

再学习 R sqared

R sqared是模型可以解释y可变性的比例。很大，即x和y之间存在线性关系；小，则x和y之间存在线性关系的证据不令人信服。
两种结算方式：相关性，相关系数平方；定义，总可变性中可解释可变性的比例。