京公网安备 11010802034615号
经营许可证编号:京B2-20210330
“热恋”过后 ,审视大数据的痛与通_数据分析师培训
大数据有大能量。它对经济增长意义重大——“在美国,仅在零售业和制造业,大数据分析就有潜力将GDP提高3250亿美元。”这是分析师们给出的令人心动的估算。在全球经济增势放缓甚至疲态尽显而亟须新的增长点之时,人们把希望的目光投向了有望担此重任的大数据。就像一场高奖金的汽车大奖赛,首先准备好车,熟悉赛道,然后再调整好心态,适时冲刺,才能取得好名次。大数据也一样有酝酿期、准备期,结果源自需求和欲望。每个时期都有痛点和难点,水到渠成的结果是最好的。
务实而精明的企业家们在被对大数据的热情和激情围绕的同时,仍然保持着理智和清醒。他们需要的远不止天花乱坠般的对大数据前景的描述,他们更需要被说服要不要尽快转变为数据驱动的企业,被指导大数据究竟该如何应用到自己的企业中,被展示大数据能带来的实打实的好处。
不能回避的现实是,大数据也有痛点,这些痛成为了令人烦恼的绊脚石。而所谓“通则不痛”,这些痛皆有“良医”给出了通的好方子。大数据效益则成为最直接也最有力的论据。解剖每一个实施经验,会发现企业家所需要的答案皆包含于其中。于理智,于情感,他们都无法再抵抗大数据的诱惑。
投资大数据有准则
在接受《财富》的采访时,喜达屋国际酒店集团首席品牌官菲尔·麦卡维蒂这样形容大数据:“在我们最古老的酒店里,总经理办公室和前台之间有一条通道。通过这条通道,总经理可以看到每一个新入住的客人,然后像迎接老朋友一样迎接他们。我认为大数据就是21世纪的这条通道。它让我们更了解客人,为客人提供他真正所需的服务。”
Matt Asay,NoSQL数据库技术领域最知名的公司之一MongoDB公司的副总,曾感叹道:“大数据的吸引力就像万有引力一样,如此强烈让人无法逃避,人们按捺不住冲动想要开展相关项目。”
不止一个大型企业的CIO公开表示过,大数据为公司节省了大笔金钱——1%的效率提升带来了数百万美元的开支缩减,销售情况与客户数据库的有效映射带来了10%的销量增长……这些令人垂涎欲滴的数据与Bain&Company公司的调查结果是一致的:采用大数据分析的公司遥遥领先于竞争对手——在本行业内财务状况位于前25%的可能性增大一倍;做出决定的速度快四倍;可实现三倍的执行效果;使用数据支持决策的可能性高两倍。
于是乎,企业纷纷有所作为。Gartner的一项调查表明,接受调查的企业中有64%表示正在部署或者计划部署大数据项目。然而,令人尴尬的是,56%的受访者对如何从大数据中获取价值感到迷茫,23%的受访者对大数据的确切定义存在疑惑。
“大数据热并不意味着任何企业都要迫不及待地跳进大数据浪潮。”在Infinitous Global Services公司总监Jamal Khawaja看来,大数据的采用是一项长期而多学科融合的工作,这对企业的平台、服务和内部投资能力而言,都是不小的考验。
根据多年企业研究的经验,他给出了判断企业是否处在上马大数据最佳时刻的四个标准:在商业智能(BI)方面已有一定的积累,手中的数据量已达一定规模,企业文化认可,具备充足的人才储备。
“只有对已有数据处理得当,才能从分立的数据流中找到解决问题的方法。衡量是否对数据处理得当有两个标准:一是带来了更高层次分析所需的专业技能,二是获得了一定的财务效益。”Jamal Khawaja细说开来,“历史数据集中的相关数据可以带来很多机会,如排除运行异常。在进行大数据投资之前,必须清楚地意识到大数据投资与其他的投资不同,它不是由已有的、显而易见的问题驱动的,你无法得到大数据投资的标准的投资回报率或净现值模型,而且预期的回报也不是显而易见的。可以说,大数据的投资本质上是机会主义的。因此,必须有相应的企业文化接受这一点。数据科学家等专业人才的重要性就不用说了,他们从数据中提取价值的方法令人眼花缭乱。”
如果审视完毕,觉得信心满满,可以践行大数据项目了,仍然不可掉以轻心。来自Informatica公司的高级经理Myles Suer指出,不少大数据项目实际上只是之前已有BI项目的“换汤不换药”版本,申请人员这么做只是为了确保资金到位或项目得到批准,这就意味着项目论证必须严谨。
“此外,我们需要提防过去在IT方面犯的错误重现。”Myles Suer表示,IT经历了三个大的发展阶段:本地系统、ERP、BI/大数据,“ERP本应解决所有本地解决方案的问题,但是它仅仅提供了交易信息。我们要避免BI/大数据重蹈覆辙。否则,CIO很可能会听到CEO/CFO的抱怨——积累的数据并没有让公司赚到更多的钱。用大数据把交易系统、BI和规划系统连接起来是一个可行的方法,这样有希望为公司带来更多利润。”
先会爬,再会走,才能跑。对大数据同样不能心急,也不能急于求成——实施大数据好比参加一场高奖金的汽车大奖赛,要先准备好车,熟悉赛道,调整心态,适时冲刺,最后才能取得好名次。
不可忽视的风险
“如果在一片匆忙中采用大数据的方法与技术,一些公司可能会低估或完全忽略一些大数据的风险。实施大数据对公司而言相当于下了一个大赌注,无论什么时候企业都绝不能掉以轻心。了解这些风险并做好应对这些风险的计划,对想尽可能获益于大数据的公司是至关重要的。”知名IT管理咨询师Rick Delgado敲响了警钟。
在他看来,实施大数据时最大的风险是安全。系统处理的数据越多,必然数据丢失的可能性就越大。“最近发生的Target公司和可口可乐公司数据泄露事件足以说明,数据损失事故是近在眼前的,所导致的代价是巨大的。”Rick Delgado强调,对IT安全的重视是许多企业所欠缺的,这在大数据时代会导致比以前可怕得多的结果。
对隐私的担忧也是一个绕不过去的坎。它既是一个法律问题,也是一个商业问题。关于数据所有权的争论喋喋不休,尤其是涉及消费者和企业,或者企业和大数据供应商的时候。企业使用他们收集到的与用户相关的数据,可能导致一些触犯法律的后果。数据的误用可能导致诉讼、罚款,甚至进一步招来行业监管等严重的后果。一个典型的例子就是,英国NHS医院因私自将病人信息卖给保险公司而被告上法庭。另外,虽然一些违反隐私权的行为在技术上可能是合法的,但公司仍会承担声誉遭受重大打击的风险。
使用大数据另一个不容忽视的风险是,它可能使一个企业丧失敏捷性。这听起来似乎有点奇怪,因为大数据的本意应该是帮助公司更快地响应实时数据,但别忘了,大数据的不同数据集总是会被安置在使用不同软件程序的多个不同的平台里。大数据要求数据以极为高效的方式被管理、组织和存储,以便进行适当的分析,而后采取行动。如果一切杂乱无章,没有合理管理所有的输入数据,企业很容易在需要迅速行动的时候瘫痪,不快反慢。那么,毫不意外的结果就是,在“时间就是金钱”的市场竞争中,公司就失去了先发制人的机会。
除了数据管理不善,曲解数据的风险也值得注意。有了大数据,公司有时会想当然地认为它几乎可以做任何事情,但事实并非如此简单。大数据可以显示事情是怎么回事,但它不能提供事情为什么发生的解释。要得到这些解释,需要正确的分析判断,但这有时仅依靠数据本身很难做到。例如,数据显示,在一年的某个时候销售量出现井喷,但为何井喷则必须由专门的数据专家来解读,否则结论就可能是错误的,从而带来无效的行动。长远来看,曲解的数据最终会白白浪费掉企业大量的钱财。
企业如何减少这些伴随大数据而生的风险?Rick Delgado给出了应对之策:雇佣擅长管理大型数据、擅长分析和有能力得到正确结论的专业人才。在关键的岗位上有合适的人将有助于企业在需要解释数据和使用最新的大数据工具时,对数据进行有效的利用和减少错误发生的机会。企业还应该经常进行自我评估,以确保符合当前的隐私保护条例和商业法规。同样重要的是,企业必须诚实和透明,让客户知道企业如何使用了他们的数据,这将有助于得到客户的信任和忠诚。
面对潜在的重重风险,Rick Delgado仍然表示谨慎乐观:“毫无疑问,大数据可以提供巨大的好处。但公司对风险应采取实事求是的态度。没有哪项新技术或实践是无风险的,企业只要牢记这一点,就能做好准备应对挑战。”
CXO之间的和谐
Gartner表示,到2015年,会有1/4的大型公司设置首席数据官(CDO)这一职务。而根据cloudpro.com的报道,目前已有100位CDO在位,其中65%在美国,20%在英国。
Gartner这样描述CDO的职权:“他们负责跟数据相关的核心流程,主管数据,协调数据的使用。这与首席财务官(CFO)类似,CFO掌控着财务流程,让资金在企业内部合理流动。”
以走在趋势之前积极行动的美国银行为例,其CDO John Bogetta早在2011年的12月就走马上任了,这个时间点要早于大数据成为CIO开口必谈的热点。他的主要职责是数据管理和质量管控。
CDO如雨后春笋般出现,他们是否抢占了原本属于IT和CIO的专属领地呢?首席数字官(CDO)、首席技术官(CTO)和首席营销官(CMO)等CXO又需要做出哪些调整以适应大数据时代呢?
在经过大量访谈后,《哈佛商业周刊》发现了一个令人难堪的事实:CXO们并没有紧紧围绕在大数据这一核心周围,尤其是CMO和CIO的不合拍是寻求获益于大数据的企业中普遍存在的问题。
确实,各种CXO的思维方式存在差异,追求的绩效目标也各有千秋。但别忘了,有研究表明,数据驱动的企业比非数据驱动的企业“生产效率高5个百分点,利润率高6个百分点”。对一个公司而言,生产效率和利润率是最高目标。因此,CXO们必须一致对外,清醒地意识到大数据是在市场需要创新时能有效帮助决策人员筛选、分析和预测的绝佳武器。
“时至今日,技术在企业运行过程中的角色已经发生了巨大变化,这些变化就要求CXO们通力协作。”知名IT媒体人John Dodge指出。
麦肯锡消费市场分析中心首席运营官Matt Ariker给出了改善CXO各自为政局面的中肯建议:企业必须具备有效的决策框架,CXO组成的领导团队必须相互支持。这影响着将数据转化为价值的每一步,包括制定战略、选择使用场景、预算,以及部署等环节。明确需求尤为关键,这需要CMO确定与数据和分析相关的业务目标、使用场景和具体要求,CIO需要提供基于使用场景需求的可行性和成本分析,CTO提供强有力的技术支持,CFO准备好“钱包”。这些都需要在成本、时间和优先级方面进行权衡和选择。接下来组建合适的多元化的团队,将流程透明化,定期跟进,这其中有效沟通必不可少,必要时甚至需要“翻译”,让CXO能“听懂”彼此的话。比如CMO需要既了解客户和业务又具备极客思维的人来沟通,CIO需要对营销活动和业务有深刻理解的技术人员来沟通。然后,这个领导团队要循序渐进,可以先开展一些参考性的工作以测试团队协作能力和新的流程,进而推广。
能否有效利用大数据已经在许多行业里成为区分胜利者和失败者的分水岭,但企业没有捷径可以走。任何一位单独的CXO都无法独自享受大数据的成功或独自承担大数据的失败。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27