大数据项目缘何失败?分析模型需要与业务相结合
大数据项目缘何失败?各位有木有想过其中原因呢?!你的业务结合分析模型进行分析预测了吗?建模人员需要将自己的数学知识和企业的业务知识相结合。不能解决具体业务问题的算法写的再好也不能为企业所用,不适合企业业务的大数据项目又如何成功呢?
目前主流的商务智能和分析应用主要关注的是如何从已有数据中提取业务价值,反映公司发展、客户行为和业务趋势。是面向过去的。而一些新兴的数据分析技术已经把目光投向了未来——预测分析。企业通过采用大数据分析技术预测未来可能发生的事情。
但是,预测建模和数据挖掘技术要想准确地预测出客户行为,制定有效的企业战略,需要处理大量的多种类型的数据。医疗保险和医疗保健服务供应商Highmark负责企业信息战略和数据分析的副总裁Mark Pitts表示,要真正落实预测分析,企业需要做的不只是给分析人员配备预测建模工具这么简单。
现在通常是数据科学家和统计分析人员自己写算法,构建预测模型。Pitts认为,算法和分析模型需要经历创建、测试和运行的阶段,在数据产生之前,这些工作应该是已经做好了的。“要解决一个问题,其实百分之八十的时间都花在信息收集上,而信息收集一开始就应该和业务相关联。”
Pitts认为,大数据项目一开始就要有建模人员参与其中,建模人员需要将自己的数学知识和企业的业务知识相结合。不能解决具体业务问题的算法写的再好也不能为企业所用。在Pitts的团队里,他总要让数据分析人员和业务人员多交流,让数据科学家了解自己要解决的问题,这样他们才能充分利用数据,解决业务问题。
技术与业务不能各自为政
咨询公司Hurwitz & Associates的总裁兼CEO Judith Hurwitz也同意Pitts的观点。她认为,大数据分析项目主要是对数据进行挖掘,找出和企业相关的信息。这个过程中,需要建模人员与业务用户的合作。建模工作不能孤立地完成。
随着企业不断的收集、存储和分析大数据,企业利用数据的方式也在发生改变。她说道:“一开始的时候,企业更感兴趣的是数据收集,把一堆数据放到Hadoop或者其他存储系统里。慢慢地,企业更希望合理利用数据,达成具体目标,比如增加利润、节省支出等。这意味着预测模型的构建需要以具体的业务目标为基础。”
咨询公司Abbott Analytics的总裁Dean Abbott也认为,如果建模人员不了解业务,预测分析就不能发挥出价值。“无论是不是大数据,建模都应该以特定的业务问题为基础。我见到过很多公司的数据项目都因为技术人员不懂业务而失败,结果往往是建模本身很好,但却没法实际应用。”
成功的项目来源于无数次的失败
Pitts介绍到,在他的公司,业务问题和相关的数据集一旦确立,预测模型的开发基本上是一个可迭代的过程。分析团队会创建多种不同的模型,比如线性回归模型和神经网络模型,从而找出最适合使用的应用程序。在建模的同时,技术人员会建立独立的数据沙箱,包含相关信息,并且与数据库隔开。这样技术人员就可以深入了解不同的选项,测试不同的样机模型。确保模型能够正常交付使用。
Pitts所在的Highmark公司使用的是SAS软件供应商的数据建模、数据挖掘和分析工具。他们的建模首先关注的是对保险理赔和健康档案的分析,公司借此判断哪些患者需要额外的医疗服务(比如没有接受接种育苗、后期护理的人)、哪些人的症状表明他有可能患有疾病(比如糖尿病、心脏病)。分析团队也会关注临床干预,帮助患者快速恢复健康,或降低医疗成本。
因为数据科学家需要尝试不同的方法构建数据模型,所以这个过程要花费较长时间,而且经常会失败。Pitts指出,正因为如此,项目需要获得高层领导者的支持,这样才能保证项目能够持续下去。项目管理者要让业务领导和企业领导了解项目的特点,不能让项目因为失败或成本过高而流产。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14