分类模型是数据挖掘中应用非常广泛的算法之一,常用的分类算法有Logistic模型、决策树、随机森林、神经网络、Boosting等。针对同一个数据集,可以有这么多的算法进行分析,那如何评估什么样的模型比较合理呢?本文就讲讲常用的模型验证武器,主要包括混淆矩阵、ROC曲线、提升度、增益法和KS统计量。
一、混淆矩阵
混淆矩阵就是如下图所示的那样,也是最简单的一种模型验证方法:
通过混淆矩阵可以算出模型预测精度((a+d)/(a+b+c+d))、正例覆盖率(b/(c+d))、负例覆盖率(a/(a+b))等。通过这么些指标综合考虑模型的预测准确率。
二、ROC曲线
在讲解ROC曲线之前,我们先看看几个定义:
Sensitivity:正确预测到的正例数/实际正例总数,即b/(c+d)
Specificity:正确预测到的负例数/实际负例总数,即a/(a+b)
ROC曲线就是根据这两个指标值绘制出来的,其中x轴为1-Specificity,y轴为Sensitivity。
通过比较ROC曲线与45°直线可以直观的反映模型的好坏,但并不能从定量的角度反馈模型好是好到什么程度或模型差是差到什么程度。那么就引申出了AUC的概念,即ROC曲线下的面积。当曲线偏离45°直线越远,则AUC越大,模型相应就会越好。一般认为AUC在0.75以上,模型就可以接受了。
三、提升度Lift
在讲解提升度曲线之前,我们先看看几个定义:
Pi:测试集中正例的比例,即(c+d)/(a+b+c+d)
Ptp:正确预测到的正例个数占总观测值的比例,即d/a+b+c+d=Pi1* Sensitivity
Pfp:把负例错误地预测成正例的个数占总数的比例,即b/a+b+c+d=(1-Pi1)*(1- Specificity)
Depth:预测成正例的比例,即b+d/a+b+c+d=Ptp+Pfp
PV_Plus:正确预测到的正例数/预测正例总数,即d/(b+d)=Ptp/depth
提升度Lift=(d/b+d)/(c+d/a+b+c+d)=PV_plus/Pi1
Lift曲线就是根据Depth和Lift两个指标绘制而成,它反映了预测正例的正真准确率。
四、增益法Gain
其实增益法Gain与提升度是一个事物的两种说法,从公式中就可以看出:
Gain=d/(b+d)=PV_plus
Gain与提升度相比并没有除以Pi值。
五、K-S统计量
统计学中,对于单样本的K-S检验就是利用样本数据来推断其是否服从某种分布,对于两样本的K-S检验主要推测的是两个样本是否具有相同的分布,对于模型的评估,希望正例的累积概率分布与负例的累积概率分布存在显著差异。
所以我们使用K-S统计量刻画模型的优劣,即使正例与负例的累积概率差达到最大。这是一个定量的判断规则,如下图所示,为传统的评价准则
:
通常要求模型KS值在0.4以上。
废话不多说,下面我们看看如何使用R语言实现这些评估模型的方法。
实例操作:
```{r}
#读取数据
dmagecr <- read.table(file = file.choose(), head = TRUE, sep = '')
#数据结构
str(dmagecr)
```
其中,二分变量good_bad为目标变量,Logistic模型默认将good水平作为感兴趣的水平,很显然对于客户是否为优质客户的问题,这里选择good作为关注对象是错误的,下面指定bad水平为兴趣水平。
```{r}
#指定感兴趣的水平为bad
dmagecr$good_bad <- factor(dmagecr$good_bad, levels = c('good','bad'),ordered = TRUE)
#创建训练集和测试集
set.seed(1234)
index <- sample(c(1,2), size = nrow(dmagecr), replace = TRUE, prob = c(0.7,0.3))
train <- dmagecr[index == 1,]
test <- dmagecr[index == 2,]
#构建Logistic模型
model <- glm(formula = good_bad ~ checking+history+duration+savings+property, family = binomial(link = "logit"), data = train)
#模型结果查看
summary(model)
```
从上图的结果可知,模型的预测变量均为显著,即认为这些变量是模型的重要变量。光有模型的预测变量显著还不够,还需要检测模型是否显著:
```{r}
#模型的显著性检验
anova(object = model, test = 'Chisq')
```
从第一个变量到最后一个变量,逐步加入模型后,模型的偏差检验均为显著,即认为整个模型是通过检验的。下面我们再看看模型的拟合优度如何,即模型的预测与实际情况是否吻合或相近,这里使用H-L检验:
```{r}
#模型的拟合优度检验--HL检验
library(sjmisc)
HL_test <- hoslem_gof(x = model)
HL_test
```
H-L的P值显著大于0.05,即接受实际值与预测值相吻合的原假设,再次说明模型是比较理想的。接下来我们就用这个训练集得到的模型来预测测试集:
```{r}
#模型预测
probility <- predict(object = model, newdata = test[,-21], type = 'response')
predict <- ifelse(probility > 0.5, 'bad', 'good')
#转型为因子
predict <- factor(predict, levels = c('good','bad'), order = TRUE)
#模型评估混淆矩阵
Freq <- table(test[,21], predict)
#预测精度
Accuracy <- sum(diag(Freq))/sum(Freq)
Freq;Accuracy
```
从模型的预测精度来看,准确率为74.2%,模型预测并不理想。除了使用混淆矩阵来评估模型,还可以使用ROC曲线下的面积AUC、提升度Lift、增益法Gain和K-S统计量。下面就深入介绍这几种方法:
```{r}
#ROC曲线
library(pROC)
roc_curve <- roc(test[,21],probility)
names(roc_curve)
Specificity <- roc_curve$specificities
Sensitivity <- roc_curve$sensitivities
library(ggplot2)
p <- ggplot(data = NULL, mapping = aes(x= 1-Specificity, y = Sensitivity))
p + geom_line(colour = 'red') +geom_abline(intercept = 0, slope = 1)+ annotate('text', x = 0.4, y = 0.5, label=paste('AUC=',round(roc_curve$auc,2)))+ labs(x = '1-Specificity',y = 'Sensitivity', title = 'ROC Curve')
```
结果显示,AUC为0.79,相比于0.75,模型马马虎虎还能说的过去。
```{r}
#Lift曲线
Pi <- table(test$good_bad)[2]/sum(table(test$good_bad))
Ptp <- Pi*Sensitivity
Pfp <- (1-Pi)*(1-Specificity)
Depth <- Ptp + Pfp
PV_Plus <- Ptp/Depth
Lift <- PV_Plus/Pi
p <- ggplot(data = NULL, mapping = aes(x= Depth, y = Lift))
p + geom_line(colour = 'blue') + labs(x = 'Depth',y = 'Lift', title = 'Lift Curve')
```
提升度一般是这样使用的:如果某项营销活动受成本的限制,又想使营销活动取得非常成功,一般通过Lift曲线进行人员的筛选,即给定某个Lift阈值,反过来确定Depth值。如提升度相比于不作任何模型,使其达到2倍以上的响应,需要设置Depth在前25%以内。同样,我们还可以绘制Gain曲线:
```{r}
#Gain曲线
p <- ggplot(data = NULL, mapping = aes(x= Depth, y = PV_Plus))
p + geom_line(colour = 'blue') + labs(x = 'Depth',y = 'PV_Plus', title = 'Gain Curve')
```
实际上,Lift曲线与Gain曲线长的一模一样,只不过是纵坐标不同而已。
胡江堂的基于SAS模型评估系列文章中没有涉及到K-S统计量的讲解,本文就对其作一个拓展,R中还没有找到直接绘制两个连续变量的K-S曲线统计量函数,故这里自定义绘制曲线所需数据的函数:
```{r}
#准备K-S数据
ks_data <- as.data.frame(cbind(good_bad=test[,21], probility))
good_ks <- ks_data[which(ks_data$good_bad==1),'probility']
bad_ks <- ks_data[which(ks_data$good_bad==2),'probility']
#自定义计算累计分布函数值
KS_Data <- function(x, y){
gaps_x <- seq(min(x), max(x), length=1000)
cauculate_x <- numeric()
for(i in 1:length(gaps_x)){
cauculate_x[i] <- sum(x<=gaps_x[i])/length(x)
}
gaps_x <- sort((gaps_x-min(gaps_x))/(max(gaps_x)-min(gaps_x)))
gaps_y <- seq(min(y), max(y), length=1000)
cauculate_y <- numeric()
for(i in 1:length(gaps_y)){
cauculate_y[i] <- sum(y<=gaps_y[i])/length(y)
}
gaps_y <- sort((gaps_y-min(gaps_y))/(max(gaps_y)-min(gaps_y)))
return(list(df = data.frame(rbind(data.frame(Gaps = gaps_x,Cauculate = cauculate_x,Type = 'Positive'),data.frame(Gaps = gaps_y,Cauculate = cauculate_y,Type = 'Negtive'))), KS = max(abs(cauculate_y-cauculate_x)), x = gaps_y[which.max(abs(cauculate_y-cauculate_x))],y = abs(cauculate_x[which.max(abs(cauculate_y-cauculate_x))]-cauculate_y[which.max(abs(cauculate_y+cauculate_x))])/2))
}
#绘制K-S曲线
ggplot(data = KS_Data(bad_ks,good_ks)$df, mapping = aes(x = Gaps, y = Cauculate, colour = Type)) + geom_line() + theme(legend.position='none') + annotate(geom = 'text', x = KS_Data(bad_ks,good_ks)$x, y = KS_Data(bad_ks,good_ks)$y, label = paste('K-S Value: ', round(KS_Data(bad_ks,good_ks)$KS,2))) + labs(x = 'Probility', y = 'CDF')
上图结果显示,K-S统计量的值为0.43,根据传统的评价准则,也说明该模型还是基本行得通的。
在数据挖掘实际过程中,需要横向的比较多个模型评估结果,还需要纵向的比较同一个模型不同参数调整的评估结果。通过上面所说的这些评估方法,终能够选出一个最理想的模型。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14