信用卡通不过?用数据分析技术,带你深度解析信用卡评分体系
随着互联网金融时代的到来,信用评分体系显得越发重要,本文就解读信用卡评分体系是如何建立的。
客户信息涉及到很多因素,因此许多因素无法在机器学习模型中进行探讨,这里收集了大部分互联网金融公司在信用卡申请时能获取到的信息。
目标
1. 使用机器学习构建信用卡评分模型,获得自变量分箱结果;
2. 并由评分模型得出最优的cutoff值,并对模型进行评价;
3. 再由新的样本集对评分卡进行测试,输出预测结果。
数据
我使用了Kaggle的两个数据集。
Kaggle数据集链接:
https://www.kaggle.com/yuzijuan/credit-card-scoring/data
环境和工具:
Rstudio,plyr,rJava,smbinning,prettyR
我首先对两个数据集进行探索性分析,剔除掉无法纳入模型的变量,例如ID,取值为空的变量,取值仅为一类的变量等;再探索配偶收入变量问题时,由于值绝大部分为0,将该变量变为二分类变量,取值为有收入与无收入;针对异常值过大的变量,采用盖帽法,用99分位点值代替极大异常值,有1分位点值代替极小异常值等等方法,数据清洗完后,再用smbinning包进行cart分箱,带入评分卡模型,获得评分卡,最后将其运用到测试集上。
开始
首先,导入必要的库和数据集,进行探索性数据分析,并剔除掉无法纳入模型的变量。
导入库
导入数据
剔除无法纳入模型的变量
由于评分卡模型一般分数越高,表示信用越好,故需要将信用好的类别得分记为1,信用不好的类别得分记为0。
为更有效分箱,获取了因子型变量集factorval和数值型变量集numericval,分别进行分箱处理。
数值型变量分箱
为更有效进行数据处理,对异常值可以进行盖帽法处理,代码如下:
以年龄数值型变量举例说明,首先查看数据分布情况,由于是因变量为二分类,自变量为数值型,用t检验来检验两分布是否有显著性差别,有显著性差别才能进行分箱,否则分箱结果无意义。
分布情况如上图所示,可以对其进行盖帽法后再t检验和分箱处理。t检验的原假设为两分类组的均值相等,结果表明原假设被拒绝,认为两分布具有显著性差别,可以进行分箱。
用的是smbinning包,这个包中采用的是CART回归树进行属性划分,数值型用函数smbinning(),由树的结果可知,划分点为19,22,32,37,46、59六个值,划分为7个属性区间。
AGE的IV值为0.2004,对AGE的WOE值画图,得到分布呈现单调趋势,表明分箱结果良好,可以纳入模型。
用AGE进行分箱的代码如下:
类推其他连续变量。通过调用numericalval可知共有7个数值型变量,由于两个数值型变量取值过于集中,后续将作为分类变量处理,故得到5个变量的IV值。
因子型变量分箱
以性别分类变量举例说明,首先对性别变量中的异常值进行处理,这种类别变量一般将异常值归为多数这类。查看分布情况可知女性的守信情况似乎比男性好一些。性别变量的WOE值区分得也很明显。
在进行分箱之前同数值型变量一样,要检验两分布是否有显著性差别,由于因变量和自变量均为分类变量,故用卡方检验。原假设为两分布之间无显著性差别,卡方检验结果表明拒绝原假设,认为两样本有显著性差别,可以进行分箱。
分类变量分箱也采用的是smbinning包,不过smbinning包中就是用原分类值进行属性划分,未对划分属性处理,分类变量用的函数是smbinning.factor(),最后得到SEX的IV值为0.0274。具体执行代码如下:
再以配偶收入举例说明,这个变量原本是数值型变量,由于取值过于集中到0,故将该变量转化为分类型变量再处理,处理方式是将取值为0的作为无收入,将取值大于0的作为有收入。
得到混淆矩阵可以看出,有收入的似乎比无收入的守信情况好一些,WOE图的区别也较为明显。
通过卡方检验也可以看出,是否有收入对信用好否有显著性影响,可以进行分箱操作。最后分箱得到IV值为0.0206。具体代码如下:
类推到其他因子型变量,计算出得到所有变量的IV值,存入creditivs中。
建立评分卡
得到所有可分箱变量的IV值,一般认为IV值大于等于0.02的对构建评分卡具有一定的帮助,故以0.02为分界点得到满足条件的变量。最后纳入评分卡模型的变量分别是年龄、工作时长(月)、个人收入、性别、婚姻状态、是否有自用手机、配偶是否有收入。
最后7个自变量的IV值的分布情况如下,可以看到年龄、婚姻状态、工作时长、是否有自用手机这几个变量的IV值较大,表明这几个变量对预测结果影响较大。
数值型分箱变量用函数smbinning.gen(),因子型变量用函数smbinning.factor.gen(),可以生成分箱后的结果,分箱后生成的新列并因变量得到data2数据集,通过逻辑回归,建立评分卡模型。通过逻辑回归结果可以看出分箱后的变量都较为显著,表示分箱结果优良。
生成评分卡是用函数smbinning.scaling(),通过调节pdo,score,odds三个参数,使得评分卡最大值与最小值位于一个较好的范围。这里评分卡的区间为(389,888)。
最后保存为新的csv文件,评分卡就做好了。具体代码如下:
评分卡展示如下,points表示为评分卡的分值。如年龄在45岁的客户,得分为166分。
最后,你总得告诉领导或者同事,到底大于等于多少时,我们认为是好客户,这时还有最后一步,就是求cutoff值,将训练数据通过函数smbinning.scoring.gen()可以得到客户的得分,由于训练数据本身有是否违约这个变量,那么cutoff值有两种选择方式,第一种基于业务发展现状,即公司是需要盈利增收,还是公司需要控制风险,然后商议讨论选择一个cutoff值。下图为客户得分与客户违约的箱体图,1表示好客户,0表示坏客户,可以看出好客户的得分值会高于坏客户的得分值。
对客户得分与客户违约做t检验,检验结果表明,两分布具备显著性差别,可以认为好客户和坏客户的得分会有显著性差别。坏客户的得分集中在578分附近,好客户得分集中于620分附近。
第二种获得cutoff值的方式就是电脑自动计算最优cutoff值,用的函数smbinning.metrics(),从输出的报告可以看出,最优cutoff值为615,这样划分的话,ROC曲线的AUC值为0.657,不算特别优良,准确率(precision)达到87.8%。
具体执行代码如下:
预测
针对新样本,我选择用Excel工具获得信用评分,使用VLOOKUP函数可以很方便地得到想要的数据,评分展示如下,选择cutoff值为615,这里认为(600,620)的客户为关注客户,信用情况中等,620分以上的客户信用情况良好,600分以下的客户信用情况堪忧。
分别用!、√、×来表示中等、优良、较差的信用情况。
结语
本案例不足之处在于:
1. 未对职业代码、商店等级代码等信息进行提炼,可能会忽略掉一些有可能对模型有影响的变量。
2. Smbinning包在数值型变量分箱这一块很强大,但是对分类变量分箱结果不太尽如人意,可以考虑其他分箱方法。
3. 可以整合更多模型,从而提高预测准确率。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14