一、残差方差齐性判断
1. 残差方差齐性
回顾一下前面介绍过的残差方差齐性,即残差ei的大小不随预测值水平的变化而变化。我们在进行残差分析时,可以通过绘制标准化残差和标准化预测值的散点图来进行判断。若残差满足方差齐性,则标准化残差的散点会在一定区域内,围绕标准化残差ei=0这条直线的上下两侧均匀分布,不随标准化预测值的变化而变化,如图1所示。
2. 残差方差不齐
但有时残差不满足方差齐性的假设,其标准化残差散点图显示,残差的变异程度随着变量取值水平的变化而发生变化,如图2(a)显示标准化残差的分布随变量取值的增大而呈现扩散趋势,图2(b)显示标准化残差的分布随变量取值的增大而呈现收敛趋势,说明残差不满足方差齐性的条件。
二、加权最小二乘法
在多重线性回归模型中,我们采用的是普通最小二乘法(Ordinary Least Square,OLS)来对参数进行估计,即要求每个观测点的实际值与预测值之间的残差平方和最小,对于模型中的每个观测点是同等看待的,残差满足方差齐性的假设。
但是在有些研究问题中,例如调查某种疾病的发病率,以地区为观测单位,很显然地区人数越多,所得到的率就越稳定,变异程度越小,而地区人数越少,所得到的率的变异就越大。在这种情况下,因变量的变异程度会随着自身数值或其他变量的变化而变化,残差不满足方差齐性的条件。此时如果继续采用OLS方法进行模型估计,则拟合结果就会受到变异程度较大的数据的影响,在这种情况下构建的回归模型就会发生偏差,预测精度降低,甚至预测功能失效。
为了解决这一问题,我们可以采用加权最小二乘法(Weighted Least Squares,WLS)的方法来进行模型估计,即在模型拟合时,根据数据变异程度的大小赋予不同的权重,对于变异程度较小、测量更精确的数据赋予较大的权重,对于变异程度较大、测量不稳定的数据赋予较小的权重,从而使得加权后回归直线的残差平方和最小,保证拟合的模型具有更好的预测价值。
三、SPSS操作
1. 研究问题
某研究人员拟研究PM2.5浓度与癌症发病率之间的关联性,以地区为观测单位,收集了40个地区的癌症发病率(/10万),PM2.5年平均浓度(μg/m3),人口数量(万),地区来源(0=农村,1=城市)等信息。(注:数据为模拟数据,不代表真实情况)
2. 判断残差是否满足方差齐性
参考多重线性回归的SPSS操作步骤,结果显示采用普通最小二乘法方法拟合的线性回归模型具有统计学意义(P<0.001),决定系数R Square为0.798,PM2.5平均浓度、不同地区来源(District)和不同人口数量对癌症发病率的影响有统计学显著性(P<0.05)。
残差散点图显示,标准化残差的变异程度会随着标准化预测值的增大而增大,呈现扩散趋势,表明残差不满足方差齐性的假设。
3. 权重估计
根据专业知识和经验判断,人口数量(Population)可能为导致残差不满足方差齐性的一个重要因素,下面对人口数量进行权重估计。
(1)选择Analyze → Regression → Weight Estimation,在Weight Estimation对话框中,将Cancer选入Dependent,将District和PM2.5选入Independent(s)中。
(2)将拟加权的变量Population选入Weight Variable中,系统将按照1/(权重变量)的power次幂对每条记录进行加权。
(3)Power range用于定义权重变量的指数,默认为-2~2,步长为0.5,即将拟合指数分为-2、-1.5、-1、-0.5、0、0.5、1、1.5和2一共构建9个方程中,并从中选取效果最佳的一个拟合指数。本例中标准化残差随着标准化预测值的增大而增大,因此Power range为正值,此处设定Power range的范围为0~5,步长为0.5。
(4)点击Option,选择Save best weight as new variable,生成一个新的变量用以保存效果最佳的权重。最后点击Continue回到Weight Estimation主对话框,点击OK完成操作。
(5)结果汇总
Log-Likelihood Values表中输出了在给定步长下每个指数值对应的对数似然值,选取对数似然值最大的一项为最优指数,因此本例中最终确定的最优指数值为3,即权重按照1/population3的函数关系来计算权重。同时系统会在确定最优指数的情况下,自动生成一个名为WGT_1的变量用于保存权重系数。
4. 最小二乘法操作
(1)选择Analyze → Regression → Linear,在Linear Regression对话框中,将Cancer选入Dependent,将District、PM2.5、Population选入Independent(s)中,将新生成的变量Weight for Cancer from WLS(WGT_1)选入WLS Weight中。
(2)点击Save选项,在Predicted Values和Residuals框下均选择Unstandardized。最后点击Continue回到Linear Regression主对话框,点击OK完成操作。
(3)绘制残差散点图
由于在SPSS中使用WLS模型无法直接绘制加权残差散点图,SPSS会给出相应的警示(如下图所示),因此我们需要按照SPSS提示中提供的计算公式,对加权预测值和加权残差值进行一定的转换,然后再绘制转换后的加权残差散点图。
选择Transform → Compute Variable,利用前几步操作生成的权重值(WGT_1)、加权预测值(PRE_1)和加权残差值(RES_1)来计算生成两个新变量,即转换的加权预测值wgtpred = PRE_1 * sqrt(WGT_1)和转换的加权残差值wgtresid = RES_1 * sqrt(WGT_1)。
然后选择Graphs → Legacy Dialogs → Scatter/Dot → Simple Scatter,将wtgpred选入X Axis,将wtgresid选入Y Axis,点击OK绘制散点图。
5. 结果汇总
(1)结果显示,采用加权最小二乘法拟合的线性回归模型仍具有统计学意义(P<0.001),决定系数R Square为0.779。由于决定系数计算方法本身的问题,在加权线性回归里会出现一定的偏差,导致加权方法计算得到的R2往往要小于普通最小二乘法的R2,但这并不代表加权的模型比普通模型的拟合效果差,两者不能简单相比。
(2)模型结果显示,PM2.5平均浓度、不同地区来源(District)和不同人口数对癌症发病率的影响有统计学显著性(P<0.05),且偏回归系数较普通最小二乘法更为稳健。
(3)转换后的加权残差散点图显示,残差的散点围绕ei=0这条直线的上下两侧均匀分布,不随预测值的变化而变化,说明经过加权校正后,残差已满足方差齐性的条件,达到了加权校正的目的。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14