你的大数据项目失败的三大关键因素
说到大数据,有一个网上流传已久的段子: Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it. (大数据就像是青少年谈性:每个人都在说,不知道谁真的做了,每个人都认为其他人做了,所以每个人都声称自己在做… )
这个段子虽然是调侃,但是的确极其准确的反应了机构大数据之路的现状和尴尬处境:现在的大环境是上至相关领导,下至基层员工都知道大数据的重要性。但是落实到实施,很多机构、企业都面临相同的困境:自己大数据发展的方法论和落地支点到底在哪里?他山之石如何攻己之玉?我的大数据之路在何方?这些都是困扰机构大数据项目的难题。
带着这些问题,笔者分析了现今市场上一些典型的行业和企业案例(覆盖互联网、政府、金融、通信、电子商务和大型企业)和自己过去十几年服务过的总计近百家机构和企业的大数据发展之路,试图找出其成败的关键因素。最终笔者发现,机构大数据之路的关键点可以如下图所示,即业务能力(3个基础支点)、技术能力(3个难点)和整合能力:
一个机构或企业要做好自己的大数据应用,业务层面首先要做好各个业务系统和业务数据平台的建设和规划,在此基础上做好合适自己的数据运营支撑体系。
在技术层面,要求具备一定的搜索、商业智能和人工智能等技术在业务系统中运用的能力。这三项技术对技术人员专业性的要求比较高。在相关人才缺乏的市场环境下,由于众多VC支撑的新兴互联网公司高薪疯抢和囤积相关人才,使得在传统IT意识下运营操作的机构大数据项目一将难求,举步维艰。
在业务和技术能力的基础上,机构大数据应用若要起飞还需要从管理、组织机构和企业文化的角度建立起自己的运营支撑体系,让相关项目能够在机构内进入一个良性循环的路径。
由此可见,要落实好大数据应用,机构必或企业须做好发生综合性转变的思想准备。这种转变是一个系统工程而不是传统意义上的IT项目,更不是简单的技术算法工作。以下详细说明上述三个关键点。
业务体系的建设和运营能力是大数据应用的基础
机构要做好自己的大数据应用,业务系统和业务数据建设是基础。金融和电信行业的机构前些年都建设了自己的数据平台(例如数据仓库,MDM等相关项目),情况相对比较良好。其他机构客户这方面差异比较大,这取决于机构自身过去的IT投入和发展状况。
笔者建议,正在策划和推进大数据项目的机构一定要对自身业务系统发展状态、业务数据平台建设状态和数据运营能力有一个清晰的认知,并根据自身的状况设置可实现的“一个亿”小目标。
技术能力是大数据应用的核心支撑
做好机构大数据应用的技术关键点到达是什么?微软大数据研究中心的一位专家有这样的观点:“hadoop, spark, HBase 等技术都是实现手段和IT构架元素,大数据关键技术60%是搜索,40%是商业智能和人工智能。。。”。根据多年服务于不同行业客户的实践,我很认同这个说法。当然这里的搜索不是一般人理解的类似百度这样的搜索, 有一个专业的词叫做“企业搜索”- Enterprise Search。
搜索为什么这么重要?根据Gartner等机构的长期研究,一个机构内部数据构成如下图所示,20%结构化, 80%非结构化。数据库技术是对20%的结构化数据管理、挖掘和交互的理想技术。但是数据库技术运用到占80%的非结构化数据上,其效率和能力将随数据量的增长而呈指数性下降。企业搜索技术正好完美补充了数据库技术的这个空缺。而在大数据的世界里,结构化信息和非结构化信息是同等重要的,由此可以看出搜索的重要性不言而喻了。
除了搜索外,商业智能也是机构大数据项目技术能力的另一个重要因素。大数据时代的到来要求老的商业智能必须拓展底层数据的覆盖范围至非结构化数据部分,从而也带来了新的挑战。
人工智能、特别是机器学习在数据层面可以很好的支撑和提升数据挖掘、分类和信息关联;在业务层面,则可以更智能的满足管理运营、营销和战略决策需求,也是大数据体系落实到具体业务系统必须面对和掌握的技术关键。
别让整合能力成为大数据系统工程的短板
是否有了业务能力的储备,解决好关键技术落地问题,机构大数据项目就坦途一片了呢?前面我们已经谈到机构大数据项目是一个系统工程。其原因是我们发现大数据业务做得好的机构,其大数据推进过程中涉及的面不仅包括业务、数据、运营和技术,还包括管理、组织结构、机构工作文化和团队建设问题。这其实是对一个机构的综合整合能力的考验!
这里我想通过分析两个案例来说明我的观察和观点:
案例一:某知名电商,通过多年的自身投入和并购累计了大量的经验和人才,其大数据已可有效支撑电子商务的很多关键业务,如精准营销(SEO, SEM, DSP投放)、会员营销、联盟营销、站内搜索和商品管理等,但是运行起来依旧存在很多问题。笔者经过调研发现,公司管理层面存在大数据团队建设重叠(内部就总监级别带领的大数据团队就有三个,而这三个团队的总监并无密切合作);IT落地未能闭合核心数据链(公司投资数百万在国际知名软件厂家产品基础上搭建的相关产品推荐也存在严重实施缺陷);电商核心业务KPI所需的职责界定和人员投入反倒显得很不充分。笔者在这个案例里发现的很多问题涉及的是企业文化、管理、运营相关的组织结构和团队建设问题,和前面两部分讨论的业务体系能力和技术能力并无太大关系。现在看来该电商高额的投入由于自身整合能力的问题并未及时获得应有的产出,在电商战场上最终丧失了很多机会。
案例二:这是一个有点黑色幽默的成功案例:某新兴媒体公司化重金从某传统互联网公司挖了两个关键人物,搭建自己的技术和运营体系。系统上线后,各种原因,不尽人意。矛盾焦点聚焦在这两个技术运营大牛身上。CEO在平衡了各方意见后狠心裁掉了这两个高薪大牛。在大牛离职后几个月时间里,在没有主要更新升级的情况下,目标业务数据开始越来越好:大牛们搭建大数据解决方案效果开始凸显!CEO方知自己过于急躁,错失良将。大数据这条路虽然充满魅力,但有时候需要的是多一点的耐心和契合实际的期望值!
涉及到管理、组织结构调整和机构文化团队建设的机构整合能力,是促成机构大数据项目起飞的重要因素。其需要的不光是大数据团队的努力,相关管理团队的正确认知和支持也是大数据项目成败的重要因素。
结束语
大数据虽然像青少年的“sex life”,充满魅力和迷惑挑战,但也是机构和企业必须面对和经历的历程。大数据之路对机构和企业来说是一种需要集体信念支撑的选择。笔者认为机构无论自身业务、技术和整合能力现阶段如何,只要能真正根据自身发展阶段,制定适合自己的相对长期大数据发展策略,设定现实可实现的“小目标”,小步快跑,进入大数据业务发展的正向轨道,则一定能够到达胜利的彼岸, 迎来属于自己的大数据春天
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14