岭回归分析_CDA答疑社区

dreamhappy2012

2019-01-16 阅读量: 1037

岭回归分析

岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

原理

　　岭回归的原理较为复杂。根据高斯马尔科夫定理，多重相关性并不影响最小二乘估计量的无偏性和最小方差性，但是，虽然最小二乘估计量在所有线性无偏估计量中是方差最小的，但是这个方差却不一定小。而实际上可以找一个有偏估计量，这个估计量虽然有微小的偏差，但它的精度却能够大大高于无偏的估计量。岭回归分析就是依据这个原理，通过在正规方程中引入有偏常数而求得回归估计量的，具体分析计算过程较为复杂，详细情况可查阅相关资料。