如何衡量多元线性回归模型优劣
最近再做一些多元回归分析方面的分析,但对于得出的回归模型的好坏不知道如何才判断,于是查找了一下相关的教材书籍,找到了张文彤老师写的《SPSS统计分析高级教程》这本书,里面对于回归模型的优劣评价给出来了几点看法,我在此做了摘录分享一下。
当供建立回归模型的自变量有p 个时,仅考虑各因素的主效应,可以建立2^P 个模型(包括仅含常数项的模型)。如果来衡量这些模型的好坏?常用有以下几种标准:
1.复相关系数R
复相关系数(Multiple Correlation Coefficient) 又称多元相关系数,表示模型中所有自变量xi间与反应变量y之间线性回归关系的密切程度大小。实际上它是Yi 与其估计值的简单线性相关系数,即Pearson 相关系数。但其取值范围为(0 ,1),没有负值。R 值越大,说明线性回归关系越密切。但R值直大至多少才算足够好?不同学科的研究其判断标准也不一样。如社会科学研究学者可能认为R >0.4 己经足够好了(想想对股价的预测吧) ,而医学研究学者认为R =0.8 仍嫌偏小,这可能是因为社会科学研究中存在较多的对反应变量确有影响却无法进行测量的变量,当然也就无法对其进行统计分析。此外,用复相关系数评价多元线性回归模型优劣时存在不足,即使向模型中增加的变量没有统计学意义, R 值仍会增大。
2. 决定系数R2
模型的决定系数(Determinate Coefficient) 等于复相关系数的平方。与简单线性回归中的决定系数相类似,它表示反应变量y 的总变异中可由回归模型中自变量解释的部分所占的比例,是衡量所建立模型效果好坏的指标之一。显然, R2 越大越好,但是也存在与复相关系数一样的不足。决定系数的计算公式如下:
3. 校正的决定系数R_adj^2
由于用R2评价拟合模型的好坏具有一定的局限性,即使向模型中增加的变量没有统计学意义, R2值仍会增大。因此需对其进行校正,从而形成了校正的决定系数(Adjusted R Square) 。 校正的决定系数总小于决定系数。校正的决定系数公式如下:
与R2不同的是,当模型中增加的变量没有统计学意义时,校正决定系数会减小,因此校正R2 是衡量所建模型好坏的重要指标之一,校正R2 越大,模型拟合得越好。但当p/n 很小时,如小于0.05 时,校正作用趋于消失。
实际应用中,R2、R_adj^2值的大小还与研究中实际观测到的自变量取值范围有关,一种可能的情况是,某个实际观测的自变量取值范围很窄,但此时所建模型的R2 很大,但这并不代表模型在外推应用时的效果肯定会很好。此外,有时虽然校正决定系数(或决定系数)很大,但误差均方仍很大,这会导致估计的?可信区间很宽,从而失去实际应用价值。
4. 剩余标准差
剩余标准差(Std. Error Of The Estimate) ,等于误差均方MSE 的算术平方根,就是残差之标准差,其大小反应了用建立的模型预测因变量时的精度。剩余标准差越小,说明建立的模型效果越好。与校正决定系数相类似地,当模型中增加无统计学意义的自变量时,剩余标准差反而会增大。此外,剩余标准差还在因变量估值的可信区间估计、自变量的选择等很多方面有着重要作用。
上面介绍的4项可以在SPSS软件上直接输出,除此之外还有一些常用的衡量多元回归模型优劣的标准在这里点一下,有兴趣的读者可参考相关参考书。
5、赤池信息准则
赤池信息准则也被称为AIC 准则(Akaike’s Information Criterion) ,由日本学者赤池于1973年提出,除应用于一般线性模型、广义线性模型的变量筛选外,还被应用于时间序列分析中自回归阶数的确定。AIC 由两部分组成,一部分反映模型的拟合精度,一部分反映了模型中参数的个数,即模型的繁简程度。其计算公式为:
n 为样本含量,与前面走义不同的是,这里的p 为模型中参数个数(包括常数项) ,L 为模型的最大似然函数。一昧地增加模型中自变量的个数虽然能使前半部分减小,而后一部分却不断增大,当模型中纳入无统计学意义的自变量时,前半部分减小的幅度小于后一部分增大的幅度,亏本的生意当然没人去做。AIC 值越小,说明拟合的模型既精度高又简洁。
应用不同的方法拟合的回归模型其AIC 值是不一样的,因此,在应用AIC 准则对不同的模型进行比较时,不同拟合方法得到的模型不能进行比较,AIC 准则只能用于比较同一种方法拟合得到的回归模型。
6、C_p 统计量
Cp 统计量由C. L. Mallows 于1964 年提出。
MSE_p 指模型中含有p 个参数(包括常数项)时的误差均方, MSE_p 为所有自变量均引入模型时的误差均方。用Cp 统计量选择模型的标准是选择Cp 最接近p 的那个模型。
7、其他标准
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14