作者:丁点helper
来源:丁点帮你
前文我们已经讲解了相关与回归的基础知识,并且重点讨论了多重线性回归的应用与诊断分析。今天的文章,我们来看看日常学习和科研中应用同样广泛的另一类回归分析——Logistic回归。
Logisti回归与多重线性回归的区别
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
读过我们前面“线性回归”系列文章的同学,肯定已经知道,采用线性回归的第一准则:因变量Y需要是“定量变量”。
例如得分、收入等连续型的,可以计算均数和标准差的变量。而Logistic回归最大的不同在于:Y是分类变量。
Logistic回归的Y是分类变量(这句话希望大家在心里默读三遍)这是进行Logistic回归最基本的条件。
什么是分类变量呢?大家最常见的可能是:发病与不发病。
比如我们用Y来表示“是否患有糖尿病”,用Y=1表示“患病”;用Y=0,表示“不患病”,这里的Y就是一个典型的二分类变量。
此时,当我们希望通过回归分析的方法来探讨“糖尿病患病与否的影响因素”,则应该选择“Logistic回归分析”。
同多重线性回归一致,对进行Logistic回归分析的自变量X并没有限制,可以是定量变量,如年龄,也可以是分类变量,如性别等等。
所以,按照我们前面文章所强调的,进行研究前首先要找XYZ(自变量、因变量和控制变量),当考虑是进行多重线性回归,还是Logistic回归时,原则上只需看Y(即因变量、或称反应变量)的类型:
定量变量就用多重线性回归,分类就用Logistic回归。
线性概率模型
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
理清了Logistic回归与一般线性回归的区别后,我们再来看看Logistic回归是如何构造出来的。
在这之间,我们要先介绍一个新词:线性概率模型。什么叫线性概率模型,它与Logistic回归有什么关系?我们一一道来。
首先,既然大家都叫“回归”,Logistic回归与线性回归当然存在联系的。
实际上,Logistic回归仅仅只是对线性回归的因变量进行了一个变换,模型的主体结构仍然属于“线性回归”。
仍然以“糖尿病患病的影响因素”为例进行说明。
某研究团队想要探讨某地区糖尿病患病的影响因素,收集了如下数据:
上述数据的赋值说明如下:
本研究的目的是获得“影响因素”,因此,除变量Y(是否患病)以外,其他所有因素都可以作为潜在的影响因素(即自变量X纳入)模型。如上表,Y属于二分类变量,其取值模式是“0、0、0…1、1、1”,其中“1”表示“是”;“0”表示“否”,所以符合进行Logistic回归的基本条件。
在Logistic回归诞生之前,人们首先考虑的是按照“多重线性回归”的方法,忽略变量Y的变量类型,直接将Y与各个X强行进行多重线性回归。
在前文,我们讲过Y上面添加一个“^”符号,表示Y的估计值。结合本例,如果我们将是否患有糖尿病与各个X进行回归,也会得到Y的估计值。可是如何解释这个估值值呢?人们想出一个办法:概率。
概率是我们在中学就接触过的内容,表示的是“某个事件发生可能性的大小”,比如某人患糖尿病的概率是80%,意味着他的患病风险比较高。
当我们从概率的角度进行线性回归时,得到的模型特称为“线性概率模型”。
如上式,我们用P来表示Y的估计值,专门代表患病概率。什么意思呢?我们现在构造的模型是用来研究各个影响因素与糖尿病患病概率的相关关系,不再是是否发病。
也就是说,通过模型,我们可以计算出预测值,此时的预测值代表该对象患糖尿病的可能性大小。
这个地方需要特别理清的是,每一个研究对象是否患有糖尿病我们提前已经知晓。如上表,变量Y=0,意味着“没有患病”,Y=1,表示“患病”。
可是现在又说预测值代表他患病的可能性大小,都已经患病了,再算患病可能性还有意义吗?
当然是有的,这就是回归分析,或者整个统计学的思想,用已经发生的事情作为样本来推测事物间的规律。
这里的预测值是根据模型(即根据X所计算的),虽然并非实际情况,但我们可以推测:如果模型预测效果好,那对于某一名已经患病的对象而言,其预测值(即患病概率)应该接近于1,表明患糖尿病概率很高。
反之,对于没有患病的人群(即Y=0),根据模型计算的患病概率则应该接近0,即患病概率低。
确实如此,上述线性概率模型并非理论假想,而是存在实际应用,它与多重线性回归的思路和操作方法完全相同。
唯一特殊的是,这里“Y”的预测值专门由“P”表示,指代概率。这种方法在经济学等社会科学领域十分广泛,常与Logistic回归结合使用。
Logistic回归的由来
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
但是,这个“线性概率模型”有一个很严重或者说“致命”的问题。根据模型来看,Y的估计值(即这里的P)理论上可以取所有实数。可是,对于大于1或者小于0的预测值,该做何种解释呢?
常识告诉我们,概率(即可能性)不会大于“1”或者小于“0”,可是通过模型计算出来的预测概率几乎一定会出现大于1或小于0的情形。
为了解决这个问题,人们就考虑对P进行变换。数学上发现,通过对P进行如下变换即可解决问题:logit (P) = ln (P/1-P),(其中ln为自然对数函数)。
这个变换即所谓的“logit”变换,通过对P进行变换之后再次纳入回归模型,得到的模型即为“Logistic回归模型”:
在实际应用中,这些变换当然不再需要我们手动操作,只需要把数据整理成上述上述表格中的形式,SPSS软件会进行完整的分析过程。
但我们需要特别明确的是,进行Logistic回归后,软件输出的“预测值”,就是这里的“P”,即概率,均是0-1的数字。
所以,如果从整体来看(将logit(P)看做一个整体),Logistic回归模型仍然是一个线性回归模型,一般称作“广义线性回归”。
数据分析咨询请扫描二维码
CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2022-03-18CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01