浅析预测分析注定失败的思考方式
虽说预测分析是一项很得人心的技术,每个人都希望能通过使用预测分析方法和预测分析工具,从而可提前看到未知的结果,来避免失败,但如果没有做好准备,信手拈来的使用预测分析方法,那必将失败。无论对于预测分析是你新手菜鸟,还是已经进行了大量的预测分析项目,都非常容易犯错。
数据挖掘公司Elder Research的CEO John Elder说:“大量的分析项目中都充斥着各种各样的错误。”这些错误大都不是致命的,通过模型即改善,但是也一些项目是相当地失败,致使业务在软件在投资的大量的金钱和时间,但却没有任何收益。本文列出了预测分析注定失败的思考方式。
1.开始后没有假定结果
对于预测分析大家都很兴奋,你看到了它的潜在价值。但却有一个问题:你的心中没有一个特定的目标。
Elder
Research参与的一个大公司中就有这样的情况。该公司开始使用他们的数据进行预测一些事情,或所有的事情,即一个方管可以出去向他的业务单元销售。虽然研究机构同意与他合作,并为他量身定制了一个使用模型,但由于这个业务单元中没有一个人问题他将要销售什么,最后该项目就没有了方向。
教训:不要先做锤子,再找钉子。在开始之前,一定要有一个特定的目标。
2.在数据不支持的基础上定义项目
一个债务催收公司希望找出最有效的方法来促使欠债人员还债。挑战是:该公司已经有一套严格的规则了,而且在每一个案例中都遵循这套原则。
数据挖掘是一项对比的艺术。因为该公司有了一套成熟的原则并一直遵循着,所以他们并不知道哪一种结果更有利于回收债务。所以该公司需要一些历史性的例子。
如果你没有这些案例,那么就需要创建一系列的实验来收集数据了。例如,假设有欠债人有1,000人,500人收到的了恐吓信,而另外500人得到的是电话催债,这是第一步。然后,预测模型就可以进行预测,预测哪类欠债人会更好的对恐吓信进行反应,哪类会更好的对电话进行反应。
在些案例中,欠债人类型可能包括历史模式引发的债务、按天支付过去的债务、收入、邮政编码的住宅等等。基于预测模型,这一催债机构可能会更好的使用更有经济效益的策略,而不是对所有人使用同一策略。但你要从实验开始。无中生有,对于预测分析来说是不可能的。
3.在得到最好数据之前就不前行
人们常常误解下操作:他们必须使数据完美地组织,没有任何漏洞、障碍或缺失的价值,在这之后才会进行预测分析。
Elder Research的一个客户,一个跨国石化公司刚刚开始进行预测分析项目,期望有更大的投资回报率,但这时他们的数据科学家发现现有的运营数据比他们原本想象的还要糟糕。
在此案例中缺失了一个最关键的目标价值。在使业务等待收集新数据时,该项目可能会延迟至少一年的时间。大部分公司在这里停滞不前。与其它错误相比这一错误是项目的最在杀手。
4.评估数据质量时,不清除垃圾数据
一个财富1000的金融服务公司想预测哪个客服中心的员工将会工作的时间最长。乍一看,该公司的历史数据似乎表明没有高中文凭、在公司停留至少9个月的员工数据是其它教育背景的员工有2.6倍。咨询公司建议客户从优先招聘高中辍学生开始。
但这就出现了两个问题。首先从求职者的简历中手动键入的数据已经做了不一致的标记。一条数据检查所有教育层次的人们,另一个只检查完成了高水平教育的人。
另一个更加复杂的问题是:因为某些原因,在呆的时间最长的人的简单中所有的标记中,后者比前者多。通过确保所做的标记是随机键入的一组简历,而且每一个人都使用同一种标记法,就可以以免这些问题。
在这一案例中我们得到一个最的信息就是:“只有垃圾在,才会有垃圾清理。在确保数据质量之间一定要确保数据的完整性。”
5.从未来的数据中预测未来
伴随着数据仓库的一个问题是它们并不静止的:信息一直在变,一直在更新。但预测分析是一种归纳的学习过程,它依赖于对历史数据,或“训练数据”的分析来创建模型。所以你要重新数据在客户生命周期初始阶段的状态。如果数据没有标注日期和时间戳,这很容易就会引进产生错误结果导向的未来数据。
有一件发生在汽车俱乐部的事:该俱乐部着手建立一个模型,用于预测他们的哪类会员更有可能购买他们的保险产品。为了建模,该俱乐部需要重建他们之前数据集合,把会员购买和决定购买保险产品的时间优先级提前,而且还要包含进子数据。该组织建立了一个决策树,它包括一个含有电话、传真和邮件数据的文本变量。当这一变量中包含了任何文本,那么就可以百分之百确定这些会员不久后就购买这一保险。
该项目的一个负责人说我们确信这个指示器将会在会员购买保险之前进行提示,但汽车俱乐部的员工却不能告诉我们它意味着什么。提前知道简直令人难以置信,他继续提问直到找到组织中知道事实的人:该变量代表着会员是如何取消他们保险的——通过电话、传真或者邮件。他说你不买就没有取消一说
。所以当你进行建模时,你必须锁定一些你的数据。
总结:失败只是一个选择
看了这些事例,你可能会把预测分析想象的非常困难,但不要害怕。虽然你在预测分析的路上出现了很多错误,但同时你也在学习,在调整,这是值得的。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14