编者按:史蒂芬•希利昂(Steven Hillion)是Alpine Data Labs联合创始人,负责领导开发面向企业的高级分析平台。在加入Alpine Data Labs之前,他曾在西贝尔(Siebel)、Greenplum等公司管理过数据科学家和工程师团队。
发面向企业的高级分析平台。在加入Alpine Data Labs之前,他曾在西贝尔(Siebel)、Greenplum等公司管理过数据科学家和工程师团队。
数据正变得空前多元,转移空前快速。现在,有效的数据分析需要非常先进的软件和机器。随着大数据分析兴起,传统的直觉判断有何用场呢?要是数据告诉业务经理“往东走”而她的直觉则说“往西走”,怎么办呢?
这番话出自我口中可能感觉有些让人意外——毕竟我本身是一位数据和科学研究者,不过我坚信,要实现真正的价值,必须要让基于数据和商业知识的直觉引导数据分析工作。
有人会说,你只需要将足够多的数学分析和机器性能应用到数据库,就能得到最好的模型。但是,以为光凭数据挖掘就能够产生取得业务进展所需的答案是愚蠢的。在数据科学中,直觉和数据分析相辅相成,相互启发。
首先,直觉引导分析。洞见鲜少能够凭空出现。它们是应用数值方法测试源自直觉和观察的假设和想法的结果。直觉还能够引导研究人员用于测试这些假想的方法。哪些数据相关呢?哪些变量和转变是合理的呢?原因与结果很可能是什么关系呢?哪些模型合适呢?
另外,分析启发直觉。非监督式的建模技术能够识别数据中的关系和模式,而这些关系和模式通过表面的观察或者小数据样本是看不出来的。简单来说,分析能够带来表面观察无法得出的探索途径启示,甚至可能是反直觉的。
如果没有同时让数据团队和业务团队的聪明领导者引导数据分析过程,根据工作经验和专业知识对直觉进行平衡,就会出现问题。
下面就来举几个例子。
有一消费金融团队曾想让我们做一个客户流失模型,帮助银行预测哪些客户最有可能注销账户。从那些数据看不出什么东西来。在存款、贷款和信用卡数据中,我们并没有发现明显的触发客户销户的因素。在创建新账户后,消费者的支出和付费习惯基本上没什么差别。
然而,在银行家对那些数据进行更加仔细的研究,审阅团队制作的客户细分资料后,有一位分析师借助她的直觉突然注意到了一个有价值的新洞见。她认识 到,特定的客户群显现出不寻常的高价值贷款、长期客户价值和数个其它的不寻常因素,他们很可能属于小企业老板。查证那些个人账户后,该团队发现她的猜测的 确没错。
她猜那些开普通账户的企业老板并不知道可能还有比信用卡或者普通贷款账户更好的融资方式。于是,该银行团队的项目目标改为鉴定这些高价值客户,向他 们提供更加合适的产品。该团队后来更进一步,要求获取数据来根据历史用户行为向其它的客户群推荐合适的产品。那些数据促使他们开始向客户提供量身定做的产 品,从而提高客户的终身价值。
单靠数据就得到那种重要的洞见是没什么可能的。这种结合数据分析的商业洞见可以说是无价的。
直觉在数据分析中非常重要,但很奇怪,业务团队往往会被排除在数据分析过程之外。相反,数据研究人员应当一开始就邀请商业分析员参与该过程,相互协作。我已经改变了运作流程,让整个团队参与初期的模型评估,甚至让他们参与更早的原始数据审查流程。
在另外一个案例中,我们的一位大啤酒公司客户想要预测其在日本市场的未来销量。我们建立了一个模型来研究未来一年销量面对不同的市场和定价压力会出 现怎样的反响。该客户告诉我们,他们认为其啤酒销量受经济直接影响。他们觉得,如果日本经济缓慢复苏,人们的软饮料消费就会增加。
他们让我们在我们的模型中以日经指数作为一种趋势变量。该指数一开始提高了模型的准确性——或者说表面上是这样。但在接下来的一年里,该模型开始作出一些离谱的预测。日本经济开始反弹,但现在日经指数已经不在训练数据范围内,原来的那个模型可能“过度合适了”。
经验更加丰富的建模师多半不会引入那种变量。有时候直觉更为靠谱,但在该案例中,数据科学专家建议要谨慎,并认识到建模过程的限制和陷阱。我们对模型实施了改变来抑制股市指数的影响,之后我们的模型在指引制定新宣传计划和预测营销效果上都表现得很好。
数据科学家和业务人员之间往往会出现矛盾——特别是数据似乎与直觉背道而驰,新发展计划的效果似乎微不足道的时候。营销人员会质问“那个数据从何而来?”,数据科学家则做好随时反击的准备,这种情况很常见。
但我认为这种智斗是好事。数学与科学应该能够经受住质问。有的时候,数据能够证明直觉是错误的。也有的时候,那些基于丰富经验的第六感能够找到数据分析过程的缺陷。理想情况下,大家都能从中受益。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14