
花式玩逻辑回归之不是只能做二分类
最近忙了一些,懒也有啦,就没怎么看书,发现一些新的东西,所以更新慢了,之前有个朋友叫我写避免过拟合,但是这个题目真的好广泛,我还没看透,所以这个可能后续再写,今天我们来写个关于逻辑回归的话题。
其实大部分的时候,使用逻辑回归都是处理二分类的问题,那是因为在信用评分卡中,都是认好客户和坏客户,但是在其他的建模场景中还是存在多分类的情况的,例如你想建立一些用户标签,区分使用你在库客户的一些行为特征或者给他们加个标签,更好的建立模型,那么建模中的多分类的话,可能会用神经网络去区分多分类,但是除了神经网络,我们万能的逻辑回归也可以。
介绍两种把逻辑回归变成多分类算法的思路,绝对不是那个多分类的逻辑回归那个算法,底层还是那个二分类的逻辑回归。
1
哑变量式法
平时如果逻辑回归不转化woe的话,字符变量就是以哑变量的形式进入模型的,那么现在我们也可以把我们的多分类变成哑变量的形式建立多个模型。
步骤一:
假设现在是有4个分类,A-B-C-D,现在建立四个模型,这四个模型的Y值是这么设置的:
A 为Y值等于1 |
B C D 为Y值等于0 |
F1(X) |
B 为Y值等于1 |
A C D 为Y值等于0 |
F2(X) |
C 为Y值等于1 |
A B D 为Y值等于0 |
F3(X) |
D 为Y值等于1 |
A B C 为Y值等于0 |
F4(X) |
分别建立了四个模型,这里你可以用全部的数据分成四份,分别建立四个模型,但是如果你数据少的话,其实我觉得你用同个全样本数据做四个模型。
步骤二:这四个模型分别拟合建立模型,生成这四个模型的标准卡
步骤三:部署应用的就是,客户的全部维度跑四个模型,取预测概率最高的那个即为是哪一类,即max(p(f1(x)), p(f2(x)), p(f3(x)), p(f4(x)))。
2
投票式
还是例如是四个标签,A-B-C-D,这个方法的思路是:
步骤一:
取标签A,C的数据,分别为1,0 |
F1(X) |
取标签A,B的数据,分别为1,0 |
F2(X) |
取标签A,D的数据,分别为1,0 |
F3(X) |
取标签B,C的数据,分别为1,0 |
F4(X) |
取标签C,D的数据,分别为1,0 |
F5(X) |
取标签B,D的数据,分别为1,0 |
F6(X) |
这时候你需要建立是6个模型,每个模型选取的数据是样本中对应标签的数据。
步骤二:分别拟合建立6个模型,并生成6个模型的标准评分卡。
步骤三:部署应用是这样子的:
当一个客户进来的时候:跑第一个模型,预设一个阈值,如果超过阈值则为A,小于阈值就是C,依次算出6个模型的预测标签,预测标签就是这6个模型的最高票。
3
空间距离法
这个方法在西瓜书的65页有详细的介绍,如果你看不懂我写的,你可以去看一下西瓜书的65页-67页的内容。这个方法我是自己看了之后,按照自己的理解再加点一个改动。
这个方法有点麻烦哈,就是你建立多少个模型都可以。
步骤一:你的Y值中的1可以是A 也可以是AB 0是CD ,然后你随机的让一个或者几个标签作为y值中的1,剩下的一个标签作为y值的0,那么你就可以得到以下的矩阵。F1(X),就是A标签为目标标签,剩下则为非目标标签,以此类推
|
F1(X) |
F2(X) |
F3(X) |
F4(X) |
F5(X) |
F6(X) |
F7(X) |
A |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
B |
0 |
1 |
1 |
0 |
0 |
1 |
0 |
C |
0 |
0 |
1 |
1 |
0 |
0 |
1 |
D |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
步骤二:就是你根据的y值取目标标签为1,然后进行建模,分别建立7个模型。这个我建立的模型对D不太公平,正常的话应该是每个标签的做目标标签的次数应该是跟非目标的次数是一样的,但是这个没那么宽,我就列举了一下。
步骤三:部署的时候就是这样子,你的客户维度跑了全部的模型,模型会有一个阈值,那么大于这个阈值就是目标标签,小于阈值就是非目标标签。那么如果想F2(X)这种,大于阈值,那他可能是A标签也可能是B标签,这时候就不好判断了,所以这之后按照空间距离的公司,算出客户预测标签组成一个向量,与A B C D的各个模型的作为目标变量组成的向量,计算预测标签向量与标签向量之间的欧式距离,距离最小的,即预测标签为其标签,我举个例子:
例如有个客户数据是(1,0,0,0,1,0,1),那么他与A B C D欧式距离就是分别是:
那么这个客户的预测标签就是4。我这欧式距离是手算,要是有错的告诉我一下哈。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15