作者:丁点helper
来源:丁点帮你
上一篇文章介绍了一般线性回归的典型操作,并且留了一个思考题。感谢小伙伴的参与,大家很厉害,没有被迷惑到,线性回归获得的系数代表的是相关关系,而非因果关联。
回归是相关不是因果
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
因为,回归的使用仅能说明数据之前存在关联,但这种关联是否真正代表了两者的内在联系还需要更深入的研究。
之所以采用回归分析,就是通过纳入多个自变量,达到控制混杂因素的作用,但是我们无法纳入所有可能的因素,即所谓的“遗漏变量”(omitted variables),从而导致回归的结果不准确。
例如,探究教育程度与收入的关系,如果我们在回归分析中没有纳入“父母的平均教育程度”这个变量,此时,这个变量就被称为“遗漏变量”。
根据常识,父母的教育程度应该是孩子未来收入的重要影响因素,同时也几乎决定了孩子的教育程度。因此,遗漏这个变量有可能让我们得出有偏差的结果(一般会高估个人教育程度对未来收入的影响)。
同时,如果X与Y之间的关系,不是X导致Y,而是Y导致X(称作“反向因果”),此时的回归分析也会得出有统计学意义的结果(总体回归系数不为0)。
但这个结果无法显示相关关系的方向,即无法判断是X→Y,还是Y→X,从而误导我们的判断。
例如,常有人说,一个国家保护私人产权制度越完善,这个国家就越富裕。
这意味着完备的产权促进了国家经济的发展,于是人们建议:贫穷的国家都要实施良好的私有产权保护。
不可否认,产权对提升经济发展的确有作用。但我们不能忽略这其中的反向因果。
也就是说,很有可能是一个国家富裕之后才开始注意产权保护,产权制度才会更加完善,由此,并非是产权促进了经济的发展,而是经济发展促进了产权的完善。
所以,我们不能只从两组数据的相关就推测因果,除了那些没有纳入考虑的变量,反向因果也有可能对我们进行误导。
由此来看,回归分析更像是一种探索,它提供某种线索,启示我们下一步的研究方向。
回归诊断——残差图
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
回归分析有时候之所以不能揭示因果,除了上面谈到的遗漏变量效应和反向因果外,某些假设条件的违反也会导致回归的结果不准。
所以,我们要牢记做完回归并不意味着万事大吉,进行必要的诊断性分析十分必要。
回归诊断,就是通过各种方法来验证回归分析的假设条件以及其他因素的影响,这里我们重点讲讲回归LINE条件的诊断和多重共线性的识别。
前文我们提到过做线性回归的时候一般需满足:线性、独立、正态、方差齐(LINE)条件。
对这些假设条件的诊断其实有各种各样的办法,其中一种使用十分广泛,简单易学,同时效率也比较高的做法是作残差图。
画残差图,一般是以回归分析Y的预测值为横轴,以残差为纵轴做散点图。
如果打开SPSS,可以看到回归分析模块中有很多种残差:未标准化、标准化、学生化等等。
简单起见,大家可以选择所谓的“学生化”残差。
不知有同学是否了解过,什么叫“学生化残差”?(不能再古怪了!)
实际上,它和我们前面学习的t检验还有联系。
t检验发明者的笔名就叫“学生”,即student,所以这里的“学生化残差”可以简单理解为一种t变换(与标准化,即z变换类似)。
具体的细节感兴趣的同学可以去查一查。在我们的具体应用中,采用“学生化残差”和“预测值”做散点图还是挺简单的,而且可以发现一些问题。
一条原则:如果线性回归效果较好,则残差图的各个散点会围绕着“残差=0”水平线上下均匀分布,如下图中的红线。
这可能是最简单的诊断方法,通过观察散点在上述红线上下的分布情况来推测回归分析的质量,同时提示需要改进的方向。
例如,下面这张散点图,就提示Y与自变量X之间可能存在某种曲线关系。
当增加某个自变量的二次项后,回归被改善。
没有添加任何二次项
增加x1的二次项,拟合效果提示
除此以外,线性回归诊断另一个常见的问题是,当自变量X之间互相存在高度相关性时,会导致回归方程估计结果不稳定,回归系数的标准误大大增加(可以通过数学公式证明,标准误计算的分母因为X之间的相关系数而变大,从而整个标准误变小),称为共线性。
共线性最大的问题是,导致本身有意义(P<0.05)的结果变为无意义(P>0.05)。
SPSS在线性回归分析模块也有专门的共线性诊断指标,我们在分析时点选即可:
根据上一篇文章中的例子,共线性诊断的的指标均在要求之内,提示共线性问题不严重。
最后,如果线性回归的LINE没有通过诊断分析,需要怎样改进呢?如下图,大家作为参考,这些内容后期有机会我们逐渐给大家讲解。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14