
作者:丁点helper
来源:丁点帮你
前文我们已经讲解了相关与回归的基础知识,并且重点讨论了多重线性回归的应用与诊断分析。今天的文章,我们来看看日常学习和科研中应用同样广泛的另一类回归分析——Logistic回归。
Logisti回归与多重线性回归的区别
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
读过我们前面“线性回归”系列文章的同学,肯定已经知道,采用线性回归的第一准则:因变量Y需要是“定量变量”。
例如得分、收入等连续型的,可以计算均数和标准差的变量。而Logistic回归最大的不同在于:Y是分类变量。
Logistic回归的Y是分类变量(这句话希望大家在心里默读三遍)这是进行Logistic回归最基本的条件。
什么是分类变量呢?大家最常见的可能是:发病与不发病。
比如我们用Y来表示“是否患有糖尿病”,用Y=1表示“患病”;用Y=0,表示“不患病”,这里的Y就是一个典型的二分类变量。
此时,当我们希望通过回归分析的方法来探讨“糖尿病患病与否的影响因素”,则应该选择“Logistic回归分析”。
同多重线性回归一致,对进行Logistic回归分析的自变量X并没有限制,可以是定量变量,如年龄,也可以是分类变量,如性别等等。
所以,按照我们前面文章所强调的,进行研究前首先要找XYZ(自变量、因变量和控制变量),当考虑是进行多重线性回归,还是Logistic回归时,原则上只需看Y(即因变量、或称反应变量)的类型:
定量变量就用多重线性回归,分类就用Logistic回归。
线性概率模型
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
理清了Logistic回归与一般线性回归的区别后,我们再来看看Logistic回归是如何构造出来的。
在这之间,我们要先介绍一个新词:线性概率模型。什么叫线性概率模型,它与Logistic回归有什么关系?我们一一道来。
首先,既然大家都叫“回归”,Logistic回归与线性回归当然存在联系的。
实际上,Logistic回归仅仅只是对线性回归的因变量进行了一个变换,模型的主体结构仍然属于“线性回归”。
仍然以“糖尿病患病的影响因素”为例进行说明。
某研究团队想要探讨某地区糖尿病患病的影响因素,收集了如下数据:
上述数据的赋值说明如下:
本研究的目的是获得“影响因素”,因此,除变量Y(是否患病)以外,其他所有因素都可以作为潜在的影响因素(即自变量X纳入)模型。如上表,Y属于二分类变量,其取值模式是“0、0、0…1、1、1”,其中“1”表示“是”;“0”表示“否”,所以符合进行Logistic回归的基本条件。
在Logistic回归诞生之前,人们首先考虑的是按照“多重线性回归”的方法,忽略变量Y的变量类型,直接将Y与各个X强行进行多重线性回归。
在前文,我们讲过Y上面添加一个“^”符号,表示Y的估计值。结合本例,如果我们将是否患有糖尿病与各个X进行回归,也会得到Y的估计值。可是如何解释这个估值值呢?人们想出一个办法:概率。
概率是我们在中学就接触过的内容,表示的是“某个事件发生可能性的大小”,比如某人患糖尿病的概率是80%,意味着他的患病风险比较高。
当我们从概率的角度进行线性回归时,得到的模型特称为“线性概率模型”。
如上式,我们用P来表示Y的估计值,专门代表患病概率。什么意思呢?我们现在构造的模型是用来研究各个影响因素与糖尿病患病概率的相关关系,不再是是否发病。
也就是说,通过模型,我们可以计算出预测值,此时的预测值代表该对象患糖尿病的可能性大小。
这个地方需要特别理清的是,每一个研究对象是否患有糖尿病我们提前已经知晓。如上表,变量Y=0,意味着“没有患病”,Y=1,表示“患病”。
可是现在又说预测值代表他患病的可能性大小,都已经患病了,再算患病可能性还有意义吗?
当然是有的,这就是回归分析,或者整个统计学的思想,用已经发生的事情作为样本来推测事物间的规律。
这里的预测值是根据模型(即根据X所计算的),虽然并非实际情况,但我们可以推测:如果模型预测效果好,那对于某一名已经患病的对象而言,其预测值(即患病概率)应该接近于1,表明患糖尿病概率很高。
反之,对于没有患病的人群(即Y=0),根据模型计算的患病概率则应该接近0,即患病概率低。
确实如此,上述线性概率模型并非理论假想,而是存在实际应用,它与多重线性回归的思路和操作方法完全相同。
唯一特殊的是,这里“Y”的预测值专门由“P”表示,指代概率。这种方法在经济学等社会科学领域十分广泛,常与Logistic回归结合使用。
Logistic回归的由来
多重线性回归,一般是指有多个自变量X,只有一个因变量Y。前面我们主要是以简单线性回归为例在介绍,两者的差距主要在于自变量X的数量,在只有一个X时,就称简单线性回归。
但是,这个“线性概率模型”有一个很严重或者说“致命”的问题。根据模型来看,Y的估计值(即这里的P)理论上可以取所有实数。可是,对于大于1或者小于0的预测值,该做何种解释呢?
常识告诉我们,概率(即可能性)不会大于“1”或者小于“0”,可是通过模型计算出来的预测概率几乎一定会出现大于1或小于0的情形。
为了解决这个问题,人们就考虑对P进行变换。数学上发现,通过对P进行如下变换即可解决问题:logit (P) = ln (P/1-P),(其中ln为自然对数函数)。
这个变换即所谓的“logit”变换,通过对P进行变换之后再次纳入回归模型,得到的模型即为“Logistic回归模型”:
在实际应用中,这些变换当然不再需要我们手动操作,只需要把数据整理成上述上述表格中的形式,SPSS软件会进行完整的分析过程。
但我们需要特别明确的是,进行Logistic回归后,软件输出的“预测值”,就是这里的“P”,即概率,均是0-1的数字。
所以,如果从整体来看(将logit(P)看做一个整体),Logistic回归模型仍然是一个线性回归模型,一般称作“广义线性回归”。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-11数据透视表中两列相乘合计的实用指南 在数据分析的日常工作中,数据透视表凭借其强大的数据汇总和分析功能,成为了 Excel 用户 ...
2025-07-11尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08LSTM 输出不确定的成因、影响与应对策略 长短期记忆网络(LSTM)作为循环神经网络(RNN)的一种变体,凭借独特的门控机制,在 ...
2025-07-07统计学方法在市场调研数据中的深度应用 市场调研是企业洞察市场动态、了解消费者需求的重要途径,而统计学方法则是市场调研数 ...
2025-07-07CDA数据分析师证书考试全攻略 在数字化浪潮席卷全球的当下,数据已成为企业决策、行业发展的核心驱动力,数据分析师也因此成为 ...
2025-07-07剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03