SPSS超详细操作:分层回归(hierarchical multiple regression)
1、问题与数据
最大携氧能力(maximal aerobic capacity, VO2max)是评价人体健康的关键指标,但因测量方法复杂,不易实现。某研究者拟通过一些方便、易得的指标建立受试者最大携氧能力的预测模型。
目前,该研究者已知受试者的年龄和性别与最大携氧能力有关,但这种关联强度并不足以进行回归模型的预测。因此,该研究者拟逐个增加体重(第3个变量)和心率(第4个变量)两个变量,并判断是否可以增强模型的预测能力。
本研究中,研究者共招募100位受试者,分别测量他们的最大携氧能力(VO2max),并收集年龄(age)、性别(gender)、体重(weight)和心率(heart_rate)变量信息,部分数据如下:
注:心率(heart_rate)测量的是受试者进行20分钟低强度步行后的心率。
2、对问题的分析
研究者拟判断逐个增加自变量(weight和heart_rate)后对因变量(VO2max)预测模型的改变。针对这种情况,我们可以使用分层回归分析(hierarchical multiple regression),但需要先满足以下8项假设:
假设1:因变量是连续变量
假设2:自变量不少于2个(连续变量或分类变量都可以)
假设3:具有相互独立的观测值
假设4:自变量和因变量之间存在线性关系
假设5:等方差性
假设6:不存在多重共线性
假设7:不存在显著的异常值
假设8:残差近似正态分布
那么,进行分层回归分析时,如何考虑和处理这8项假设呢?
3、对假设的判断
3.1 假设1-2
假设1和假设2分别要求因变量是连续变量、自变量不少于2个。这与研究设计有关,需根据实际情况判断。
3.2 假设3-8
为了检验假设3-8,我们需要在SPSS中运行分层回归,并对结果进行一一分析。
(1)点击Analyze→Regression→Linear
出现下图:
(2)将因变量(VO2max)放入Dependent栏,再将自变量(age和gender)放入Independent栏:
解释:因研究者已知性别、年龄与最大携氧能力的关系,我们先把这两个变量放入模型。
(3)点击Next,弹出下图:
解释:大家可能会注意到Independent(s)框中的标签由-Block 1 of 1- 变为-Block 2 of 2-。这说明age和gender变量依旧存在于模型中,在- Block 2 of 2-中,大家可以点击Previous查看。同时,Method栏应设置为“Enter”,一般是SPSS自动设置的;如果不是,也应人工设置为“Enter”。
(4) 将自变量(weight)放入Independent栏
解释:放入weight变量是为了检验加入该变量后对age、gender-VO2max预测模型的影响。
(5)点击Next,弹出下图:
解释:大家可能会注意到Independent(s)框中的标签由-Block 2 of 2- 变为-Block 3 of 3-。同样地,age、gender和weight变量依旧存在于模型中,可以点击Previous查看。Method栏也应设置为“Enter”,如果不是,改为“Enter”。
(6)将自变量(heart_rate)放入Independent栏
解释:放入heart_rate变量是为了检验加入该变量后对age、gender、weight-VO2max预测模型的影响。
(7)点击Statistics,弹出下图:
(8)在Regression Coefficient框内点选Confidence intervals,在Residuals框内点选Durbin-Watson和Casewise diagnosis,并在主对话框内点选R squared change、Descriptives、Part and partial correlations和Collinearity diagnosis
(9) 点击Continue,回到主界面。
(10)点击Plots,弹出下图:
(11)在Standardized Residual Plots对话框中点选Histogram和Normal probability,并点选Produce all partial plots
(12)点击Continue回到主对话框
(13) 点击Save
(14)在Predicted Values框内点选Unstandardized,在Distances框内点选Cook’s和Leverage values,在Residuals框内点选Studentized和Studentized deleted
(15)点击Continue→OK
经过这些操作,Variable View 和Data View对话框中会增加5个变量:
这5个变量分别是未标化预测值(unstandardized predicted values,PRE_1),学生化残差(studentized residuals,SRE_1),学生化删除残差(studentized deleted residuals,SDR_1),Cook距离(Cook's Distance values,COO_1)以及杠杆值(leverage values,LEV_1)。
根据这5个新增变量和其他结果,我们将逐一对假设3-8进行检验。
注意:分层回归对假设3-8的检验过程与多重线性回归基本一致,为避免重复讲解,我们在本章节只介绍基本原理,详细内容请参见多重线性回归分析。
3.2.1 假设3:具有相互独立的观测值
观测值之间相互独立是分层回归的基本假设之一,主要检验的是1st-order autocorrelation,即邻近的观测值(主要是残差)之间没有相关性。我们根据SPSS中的Durbin-Watson检验判断该假设,如果不满足,则需要运用其他模型,如时间序列模型等。
3.2.2 假设4:自变量和因变量之间存在线性关系
分层回归不仅要求因变量与所有自变量存在线性关系,还要求因变量与每一个自变量之间存在线性关系。其中,我们主要通过绘制未标化预测值(PRE_1)和学生化残差(SRE_1)的散点图检验因变量与所有自变量之间的线性关系。
而为检验因变量与每一个自变量之间是否存在线性关系,我们则需要分别绘制每个自变量与因变量的散点图。如果假设4不满足,我们可以尝试进行数据转换或者其他统计方法。
3.2.3 假设5:等方差性
等方差性也可以通过学生化残差(SRE_1)与未标化预测值(PRE_1)之间的散点图进行检验。如果研究结果提示不满足等方差性假设,我们也可以通过一些统计手段进行矫正,如对自变量进行转换或采用加权最小二乘法回归方程等。
3.2.4 假设6:不存在多重共线性
当回归中存在2个或多个自变量高度相关时,就会出现多重共线。它不仅可影响自变量对因变量变异的解释能力,还影响整个分层回归模型的拟合。
为了检验假设6,我们主要关注相关系数(correlation coefficients)和容忍度/方差膨胀因子(Tolerance/VIF)两类指标。一般来说,如果自变量之间的相关系数大于0.7,或者容忍度小于0.1,方差膨胀因子大于10,我们就会怀疑模型存在多重共线性。
3.2.5 假设7:不存在显著的异常值
根据作用方式的不同,分层回归的异常值主要分为离群值(outliers)、强杠杆点(leverage points)和强影响点(influential points)3类。异常的观测值可以符合其中一类或几类。但无论是哪一类都对分层回归的预测能力有着严重的负面影响。好在我们可以通过SPSS检测这些异常值。
其中,(1) 离群值是指实际值与预测值相差较大的数据,可以用Casewise Diagnostics检验和学生化删除残差(SDR_1)两种方法进行检验。(2) 我们通过数据的杠杆值(LEV_1)检测强杠杆点。(3) 而强影响点主要通过Cook距离(COO_1)进行检测。如果存在这些异常值,我们可以根据实际情况判断是否需要剔除或调整。
3.2.6 假设8:残差近似正态分布
在分层回归中,我们可以使用两种方法判断回归残差是否近似正态分布:(1) 带正态曲线的柱状图或P-P图;(2) 根据学生化残差绘制的正态Q-Q图。详细内容参见多重线性回归分析。
4、结果解释
分层回归可以得到3个主要结果:
新增自变量解释因变量变异的比例
根据自变量预测因变量
自变量改变一个单位,因变量的变化情况
为了更好地解释和报告分层回归的结果,我们需要统计以下3个方面:
各模型的比较
模型的拟合程度
回归系数
4.1 各模型的比较
比较不同模型是进行分层回归的主要目的。SPSS输出变量纳入结果,如下:
从Model栏可以看出,本研究共有3个模型:Model 1、Model 2和Model 3。Variables Entered栏显示该研究中每个模型较前一个模型增加的变量。
Model 1是第一个模型,没有前序变量,因此该模型的自变量只有gender和age。Model 2比前一个模型(Model 1)增加了weight变量;Model 3比Model 2增加了heart_rate变量。这3个模型的纳入变量与之前的SPSS操作一致,如下:
必须注意的是,Model 2和Model 3中纳入的变量都是在上一个模型基础上的。比如,Model 3是在Model 2的基础上纳入heart_rate变量,即共纳入age、gender、weight和heart_rate四个变量,而不是heart_rate一个变量,具体解释如下:
4.2 判断分层回归模型的拟合程度
判断分层回归模型拟合程度的指标有很多,我们主要向大家介绍变异的解释程度、R2值在各模型间的变化和模型的统计学意义3个指标。
4.2.1变异的解释程度
分层回归中的每个模型都相当于一个强制纳入变量(Enter method)的多重线性回归模型,具体评价指标也相似:
Measures of model ‘fit’ for the three models: 分别评价本研究中3个模型的拟合程度
R2是多层回归的重要指标,反映自变量解释因变量变异的程度。从上表可以看出,随着自变量数量的增加,模型1-3的R2逐渐增加,分别是0.188、0.427和0.710,提示各模型对因变量的预测能力逐渐加强。
但是分层模型主要是检验增加自变量是否具有统计学意义,如模型2增加了weight变量后R2的变化是否具有统计学意义呢?我们将在4.2.2节为详细大家介绍。
4.2.2R2值在各模型间的变化
为了判断新增变量对回归的影响,我们需要关注下表的右半部分:
Assessing model change:对比模型变化
R Square Change栏显示的是该模型与上一个模型R2的差值,Sig. F Change栏显示的是该差值的统计检验的P值。以Model 1为例,如下:
Initial Model(Model 1):模型1
模型1是初始模型,在空模型的基础上增加了age和gender两个变量。该模型的R2差值(R Square Change栏)和R2值(R Square栏)相同,均为0.188。R2差值具有统计学意义,P<0.001(Sig. F Change栏)。
模型2在模型1的基础上增加了weight变量,R2值的变化情况如下:
Change between Model 1 and Model 2: 对比模型1和模型2
模型2的R2差值为0.239,即模型2的R2值(0.427)与模型1的R2值(0.188)的差。Sig. F Change栏提示,P<0.001,即模型2的R2差值具有统计学意义。
在本研究中,模型2与模型1的差别仅在于weight变量,提示在回归中纳入weight变量后自变量对因变量变异的解释能力增加23.9%(P<0.001),即纳入体重变量对受试者最大携氧能力的预测改善有统计学意义。
解释:如果我们在模型2中增加了不止一个变量,那么R2值的改变就是所有新增变量共同作用的结果,而不是某一个变量的。
模型3在模型2的基础上增加了heart_rate变量,R2值的变化情况如下:
Change between Model 2 and Model 3:对比模型2和模型3
模型3的R2差值为0.283,即模型3的R2值(0.710)与模型2的R2值(0.427)的差。Sig. F Change栏提示,P<0.001,即模型3的R2差值具有统计学意义。提示在回归中纳入heart_rate变量后自变量对因变量变异的解释能力增加28.3%(P<0.001),即纳入心率变量对受试者最大携氧能力的预测改善有统计学意义。
4.2.3 模型的统计学意义
分层回归的每一个模型都相当于一个多重线性回归模型。SPSS输出ANOVA表格中包括对每一个模型的评价,如下:
一般来说,我们习惯性只汇报最终模型的结果(本研究的模型3),如下:
模型3是全模型,纳入gender、age、weight和heart_rate四个变量。结果示,该模型具有统计学意义,F(4,95)=58.078,P<0.001,提示因变量和自变量之间存在线性相关,说明相较于空模型,纳入这四个自变量有助于预测因变量。
注释:如果SPSS输出的结果中“Sig”值为“.000”,代表的是P<0.001,而不是P=0.000。同时,如果P>0.05,我们最好在报告中写清楚具体数值,如P=0.092,从而为读者提供更多的信息。
4.3回归系数
正如前文所述,分层回归模型主要关注的是最终模型,即本研究中的模型3,在对回归系数进行解释时也是如此。
Full model (Model 3):模型3
我们可以按照多重线性回归的分析方法对分层回归系数进行解释。连续变量(如age变量)的回归系数表示自变量每改变一个单位,因变量的变化情况。分类变量(如gender变量)的回归系数表示不同类别之间的差异,详细内容参见多重线性回归。
值得注意的是,我们运行分层回归的主要目的是分析是否有必要增加新的自变量,而不是进行预测,回归系数不是我们主要关注的结果。但是如果在汇报时需要提供回归系数,我们也可以把这部分增加在报告中。
5、撰写结论
5.1 简洁汇报
本研究采用分层回归,分析逐步增加体重和心率变量是否可以提高性别、年龄对最大携氧能力的预测水平。最终模型(模型3)纳入性别、年龄、体重和心率4个变量,具有统计学意义R2=0.710,F(4, 95) = 58.078 (P<0.001),调整R2=0.698。
仅增加体重变量(模型2)后,R2值增加0.239,F(1, 96) = 40.059(P<0.001),具有统计学意义。增加心率变量(模型3)后,R2值增加0.283,F(1, 96) = 92.466(P<0.001),具有统计学意义,具体结果见表1。
表1. 分层回归结果
5.2具体汇报
本研究采用分层回归,分析逐步增加体重和心率变量是否可以提高性别、年龄对最大携氧能力的预测水平。通过绘制部分回归散点图和学生化残差与预测值的散点图,判断自变量和因变量之间存在线性关系。
已验证研究观测值之间相互独立(Durbin-Watson检验值为1.910);并通过绘制学生化残差与未标化的预测值之间的散点图,证实数据具有等方差性。
回归容忍度均大于0.1,不存在多重共线性。异常值检验中,不存在学生化删除残差大于3倍标准差的观测值,数据杠杆值均小于0.2,也没有Cook距离大于1的数值。Q-Q图提示,研究数据满足正态假设。
最终模型(模型3)纳入性别、年龄、体重和心率4个变量,具有统计学意义R2=0.710,F(4, 95) = 58.078 (P<0.001),调整R2 = 0.698。仅增加体重变量(模型2)后,R2值增加0.239,F(1, 96) = 40.059 (P<0.001),具有统计学意义。增加心率变量(模型3)后,R2值增加0.283,F(1, 96) = 92.466 (P<0.001),具有统计学意义,具体结果见表1。
表1.分层回归结果
解释:我们为了尽可能地向大家展示分层回归结果,在表1里纳入了所有可能需要汇报的指标。但在实际工作中,大家可能并不需要汇报这么多,应视情况而定。
数据分析咨询请扫描二维码
在现代信息技术的广阔世界中,大数据架构师扮演着至关重要的角色。他们不仅引领着企业的数据战略,还通过技术创新推动业务的不断 ...
2024-11-04在当今数字化时代,数据分析师已成为企业关键角色,帮助决策者通过数据驱动的洞察实现业务目标。成为一名成功的数据分析师,需要 ...
2024-11-03在当今数字化的世界中,数据分析已经成为推动商业决策的关键因素。随着公司和组织越来越依赖数据来驱动业务战略,对数据分析专 ...
2024-11-03《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28