京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据不是放烟花 不要炫目要务实
在刚刚过去的2014年,不懂点儿大数据,都不好意思跟别人打招呼。但是与大数据概念的持续火热相比,我们发现真正落地的大数据应用并没有想象得那般多,造成这一局面的原因是什么?带着这个疑问,记者采访了专注于数据集成业务的软件提供商Informatica中国区的几位资深技术专家,就大数据的思维、技术和发展等问题与他们进行了深入探讨。
在Informatica公司大中国区首席产品顾问但斌看来,之所以大数据雷声大雨点小,原因在于包括国外在内的很多大数据案例、大数据故事无非是商务智能(BI)、数据仓库(BW)概念的改头换面,只是新瓶装旧酒而已。就如数据仓库一样,建设了近20年才让每个企业真正承认其价值,大数据也不能期望很快就获得成功,需要一个时间上的沉淀。另外,我们也要接受大数据项目的失败率。仍然以数据仓库建设为例,几年前很多报告都显示会有80%的失败率,大数据也会如此,但是失败对后来的成功也有着借鉴意义。
大数据的“大”在过去一段时间内困扰着很多人,似乎只有数据量足够大才能称之为大数据。所幸这一认识误区已经被大多数人所跨越了。但是但斌告诉记者,从对大数据的认识来说,现在还有这样一个错误认识,似乎大数据与精确必须划等号。“这一认识来源于以往。以前由于可获得的数据量比较小,为此我们必须尽量准确的记录下所获得的所有数据,做出KPI供领导参考,采样过程的精确度被放在重要的地位。显然,这种对精确性的执着是信息缺乏时代的产物。”在大数据时代,但斌认为数据的收集问题不再成为困扰,采集全量的数据成为现实,但海量数据的涌现一定会增加数据的混乱性且造成结果的不准确性。“针对这一趋势,我们要接受数据的不精确性,可能有10%的数据是精确的就够了,我们更要看重的是数据的相关性,这才是真正的大数据思维。”
具体到大数据思维,另一个很重要的因素在于接受大数据的不成熟性。虽然大数据早已不像数据仓库一样是从无到有,但是即使是从有到更好,也要经历一个过程,但斌认为可能会用到10-15年。
在这个大数据从不成熟到成熟的演进过程中,必须认识到大数据不是一个纯技术问题,它会包含很多管理、业务方面的内容。并不是说购买了一套数据挖掘工具,组建了一个Hadoop环境就能称为做了大数据。除了设备、技术上的投资,企业还需要从组织架构、人员意识、管理方式、企业文化等方面都有转变。大数据的前期准备工作很多,这是一种思维上的全面变革。
针对这一趋势,越来越多的企业其实已经认识到大数据建设并非IT部门的事情,我们需要的是既懂IT、又懂业务的人才,这也是数据科学家出现的原因所在。一个企业内部的数据集成或者数据质量管理工作是否有价值,在于面对的是否是有效的数据应用和使用者,他们就是数据科学家,只有他们有效的获取和利用了这些数据,才能发挥数据的最大价值。
对于当前企业来说,做大数据,90%的企业都不可能实现放烟花式的很炫的效果,他们首先还是要踏踏实实地解决数据整合、数据质量和主数据管理等问题,而这些恰恰是Informatica公司的核心竞争力所在,也是多年来Informatica所专注的业务。目前Informatica已经有了11个方面、30多小项的解决方案,Informatica数据集成平台提供了将数据转化为可信、可行且可靠的信息资产所需的全部功能,可以随时随地集成任何的数据碎片、控制企业内或“云中”数据、高速传送数据、与合作伙伴共享数据、查找并解决数据质量问题、给予您凭借数据主动采取行动的能力、创建针对最重要数据资产的可靠视图等等,这些技术组合能够天衣无缝地配合运作,且可通过有效利用硬件基础设施来降低总体拥有成本,实现更精细化数据管理。
2014年,Informatica数据安全方案因满足市场热点需求而成为业务增长较快的单元。而另一种市场需求很大的是数据归档类方案。企业经过几年发展,积累了大量历史数据希望存档,Informatica提供了一些运算、存储等系列新技术,能够对历史数据进行归档、留存及分析,实现全生命周期数据的管理。
在大数据时代,有人会说Informatica是幸运儿,赶上了好机会,但事实上一直专注于数据集成业务的Informatica并没有变,依旧专注于如何用好数据、如何发挥数据最大价值。你不需要去适应时代,只需要真正去满足用户的需求,这才是成功的关键。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在企业数字化运营、业务流程管理与精细化管控体系中,流程运营是串联各项业务环节、保障工作落地、提升运转效率的核心载体。无论 ...
2026-09-16在数据分析与统计学研究中,卡方检验是分析分类变量关联性与差异性的重要方法,广泛应用于市场调研、行为统计、社会调查、商业数 ...
2026-09-16 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“什么是指标”“指标和维度有什么区别”“如何定义指标值的计算规则和 ...
2026-09-16CDA数据分析师 出品 作者:李诗怡 定义: 用户增长核心分析框架,刻画用户从接触产品到自发推荐的全生命周期,五个递进环节构建 ...
2026-09-15在数字化营销与精细化用户运营时代,企业传统的广撒网式营销模式成本高、转化率低,已无法适配精准商业竞争需求。客户画像作为大 ...
2026-09-15 很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度” ...
2026-09-15在MySQL数据库数据查询与数据分析中,GROUP BY与ORDER BY是使用频率极高的核心关键字。二者语法结构相似,常搭配使用,但核心功 ...
2026-09-14随着数字化治理、智慧运营、数字孪生技术的普及,数字体征成为衡量业务状态、系统运行、城市治理与企业经营健康度的核心体系。数 ...
2026-09-14 很多数据分析师沉迷于复杂的模型和算法,却忽略了数据分析的一项基础能力——描述性统计。事实上,大量商业分析问题,用描述 ...
2026-09-14在MySQL数据库运维与开发实践中,经常出现一种典型现象:数据库实际存储的数据量很小,数据表条数少、文件体积低,但服务器整体 ...
2026-09-11 很多数据分析师能熟练计算均值、标准差,但当被问到“总体和样本有什么区别”“参数和统计量有什么关系”“数据级别的高低如 ...
2026-09-11CDA数据分析师 出品 作者:李诗怡 定义: 将同一时间段内因具备相同属性或共同经历的用户划分为群体,分析其留存与生命周期价值 ...
2026-09-11在零售、商超、餐饮、线下门店等实体商业运营中,客流与销售额是衡量门店经营状态的两大核心指标。销售额是门店经营的最终结果, ...
2026-09-10在数据可视化体系中,柱形图是最基础、应用最广泛的图表类型,其中**累计柱形图(堆积柱状图)**是兼顾整体总量与内部结构的核心 ...
2026-09-10 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-09-10在Python Pandas数据分析中,DataFrame是承载结构化数据的核心载体,数据清洗、数据修正、条件赋值、字段更新等实操场景,都离不 ...
2026-09-09 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-09-09卡方检验(Chi-Square Test)是统计学中针对分类数据的经典显著性检验方法,核心用于判断两个离散分类变量是否相互独立、数据实 ...
2026-09-09CDA数据分析师 出品 作者:李诗怡 1. 销售漏斗阶段判断 题目:销售漏斗模型中,通过广告、社交媒体等方式触达品牌信息(如浏览品 ...
2026-09-07在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07