如何在R语言中使用Logistic回归模型

在实际应用中，Logistic模型主要有三大用途：

1）寻找危险因素，找到某些影响因变量的"坏因素"，一般可以通过优势比发现危险因素；

2）用于预测，可以预测某种情况发生的概率或可能性大小；

3）用于判别，判断某个新样本所属的类别。

Logistic模型实际上是一种回归模型，但这种模型又与普通的线性回归模型又有一定的区别：

1）Logistic回归模型的因变量为二分类变量；

2）该模型的因变量和自变量之间不存在线性关系；

3）一般线性回归模型中需要假设独立同分布、方差齐性等，而Logistic回归模型不需要；

4）Logistic回归没有关于自变量分布的假设条件，可以是连续变量、离散变量和虚拟变量；

5）由于因变量和自变量之间不存在线性关系，所以参数(偏回归系数)使用最大似然估计法计算。

下面简单介绍该模型的理论知识，主要参考《统计建模与R软件》：

应用：

接下来使用R语言实现Logistic模型的应用，仍然使用《Logistic回归模型——方法与应用》书中的案例数据。该数据的应变量表示高中生是否进入大学，自变量包含性别(GENDER)、高中类型(KEYSCH，是否为重点中学)和高中平均成绩(MEANGR)。

接下来列出文中所需R语言包：

foreign包用于导入SPSS数据集；

sjmisc包用于实现Logistic模型的拟合优度检验

pROC包用于绘制模型的ROC曲线

#读取数据

发现原本为离散的变量COLLEGE、KEYSCH和GENDER成了数值变量，需要重新将这些变量设置为因子变量。

#数据初探：

#将数据拆分为训练数据集和测试数据集

本文对Logistic模型的应用使用stats包中自带的glm()函数，下面看看

glm()函数的使用方法：

glm(formula, family = gaussian, data, weights, subset,

na.action, start = NULL, etastart, mustart, offset,

control = list(...), model = TRUE, method = "glm.fit",

x = FALSE, y = TRUE, contrasts = NULL, ...)

formula指定模型的因变量和自变量，类似于y~x1+x2+x3的形式；

family指定模型的连接函数和误差函数；

data指定要分析的数据框；

weights模型拟合中指定先验权重；

subset指定数据子集用于模型拟合；

na.action指定缺失值的处理办法，默认跳过缺失值；

start用于指定参数估计的初始值；

control为一个列表，指定广义线性模型的收敛度，最大迭代次数等；

#建模

由参数估计的结果可知，截距项和三个自变量是非常显著的。

从而模型可以写成如下形式：

由summary()结果的最下方Residual deviance实际上就是-2Log L(-2倍的似然对数)对应模型的显著性检验。也可以查看更详细的Residual deviance过程：

很明显，模型卡方统计量通过显著性检验(P值远远小于0.05)。

模型的拟合优度检验：

通过比较模型的预测值与实际值之间的差异情况来进行检验，如果预测值域实际值越接近，则说明模型的拟合优度越佳。

主要的拟合优度评价指标有偏差卡方检验、皮尔逊卡方检验和HL统计量检验。其中前两种检验适合模型中只有离散的自变量，而后一种适合模型中包含连续的自变量。拟合优度检验的原假设为“模型的预测值与实际值不存在差异”。

下面使用sjmisc包中的hoslem_gof函数实现以上模型的H-L统计量检验：

很明显，p>0.05，说明H-L检验不显著，接受拟合优度的原假设：模型的预测值与实际值不存在差异。

在实际应用中，最理想的情况是希望模型卡方统计量显著(Residual deviance显著)，而模型拟合优度不显著(HL统计量不显著)。如果Residual deviance不显著(自变量对应变量没有很好的解释)或HL统计量显著(模型不能很好的拟合数据)，则说明模型可能存在某些问题，需要重新设定模型。

从上面的HL检验和模型卡方统计量结果可知，该模型是比较理想的。

#我们一般不会直接对模型的偏回归系数作解释，而是使用优势比解释各个自变量。下面看一下各回归系数的置信区间和优势比的置信区间。

#模型预测

由于Logistic回归模型无法直接预测新样本属于哪个类别，这里使用主观概念，如果预测概率值小于等于0.5，则预判COLLEGE为0(未考取大学)。经计算模型的预测准确率为80%。

还有一种可视化的方法衡量模型的优劣，即ROC曲线，该曲线的横坐标和纵坐标各表示1-反例的覆盖率和正例的覆盖率。

这里的AUC为ROC曲线下方的面积。一般AUC大于0.75就能够说明模型是比较合理的了。

总结：文中所用到的包和函数

foreign包

read.spss()

stats包

glm()

summary()

confint()

predict()

transform()

cbind()

table()

sjmisc包

hoslem()

pROC包

roc()