
大数据的价值之路&数据价值之路的几个里程碑
大数据的4V并不在一个层面
讲起大数据,首先的印象就是《大数据时代》这本书中的提出的4V, 海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。
前三个V直接描述了数据本身的特征, 大数据业界无数的公司推出了各种存储和数据处理的解决方案以应对大数据带来的技术挑战, 初期的淘金者赚的盆满钵溢,留下了大量存满数据的机房。可是说好的价值呢?
最后一个V实现的并不理想。
以业界最为闻名遐迩的Palantir公司为例,他的founder是大名鼎鼎的硅谷投资创业教父,paypal创始人彼得.蒂尔。它第一个客户和最大的客户是美国中央情报局CIA,协助反恐。据说正是依靠他们的协助,CIA找到了本拉登的踪迹。Palantir 为此声名大噪。其最新一轮融资4.5亿美元,公司估值在200亿美元,是仅次于uber, airbnb和小米的创业公司。
可是最近的一些爆料Palantir的一系列问题。去年有至少3个重要客户终止了合同,包括可口可乐,america express, 和纳斯达克。这些客户一方面抱怨公司收费太高,会高达100万美元每个月,感觉远远不值得。而且客户和公司的年轻工程师合作起来非常头疼。
Palantir公司上次宣布去年全年的“预约价值”是17亿美元,但是实际上最后的收入只有4.5亿美元。预约价值是客户可能要支付的费用,包括很多试用期,免费用户的合同价值。这两个数据的巨大差距说明很少一部分客户最后变成了付费用户。
Palantir公司情况恰恰彰显了大数据巨大数据价值获取并不容易。
大数据中的确隐藏着大量价值,但价值的实现不在于数据分析本身,而在于数据与业务场景的碰撞。
Palantir的数据实践中面临的几个问题:
1.数据的价值和行业场景紧密相关, Palantir擅长抓坏人, 通过大量的数据关联,发现业务中的异常,进而通过异常的控制实现数据的价值, 这样的场景在安全,金融等领域比较适合, 但当推广到其它场景的时候,效果往往差强人意。深度行业场景的介入往往需要对行业的深度介入, 成本高, 周期长。
2.数据及分析人员本身也是成本, 大数据获取成本, 数据科学家的高额成本,分析工作失败的机会成本,还有数据价值的体现程度。这些都对大数据项目产生直接影响, 这些成本与价值比能否控制在一定范围,长期看来,成本是否有线性下降的预期也是企业决策关键因素。
3.工程师的技能与思维能力,数据科学家培养及留住不易, 年轻工程师的培养,学习曲线和成本都是需要考虑的点。
数据价值之路的几个里程碑
Gartner有一个非常简单和清晰的数据分析和难度的划分模式从数据分析的难度到数据价值的实现给出了4个层面的定义。这四个层面的定义也非常适合被看作是我们数据价值探索上的4个里程碑。
•描述(Descriptive),解决什么发生的分析,是相对简单的分析。 描述性的分析通常需要把大数据沉淀成为更小的,更高价值的信息,通过汇总来对一个已经发生了事件的提供洞察和报告。
•诊断(Diagnostic),在事件数据描述的基础上, 提供对原因的深度分析, 通常需要更多维度的数据, 更长时间的数据跨度, 通过关联分析发现事件与数据之间的关联关系。
•预测(Predictive),预测性分析通过一系列的统计,建模,数据挖掘和机器学习等技术来学习近期和历史数据, 帮助分析师对未来做一定的预测。
•规范分析(Prescriptive),规范性分析突破了分析并扩展到执行阶段, 结合了预测,部署, 规则,多重预测,评分,执行和优化规则, 最终形成一个闭环的决策管理能力。
过去的实践表明,75%以上的数据分析场景是描述性的分析,大部分企业已经建立的数据仓库和BI系统都可以归于这一场景,日常运营报告,运营仪表盘, 驾驶指挥舱等都属于这一类的应用的实现。 诊断和预测类分析应用则更多使用在推荐, 运营异常分析等特定场景中, 使用的范围较小, 效果参差不齐。而规范分析的场景直接打通了分析与执行,目前主要是体现在自动驾驶, 机器人等更为特定业务场景中。在商业环境中, 数据的价值需要的不仅仅是分析, 真正的价值是通过数据分析后的业务决策和业务执行获得的。
笔者用下面的这张图来描绘数据的价值之路, 越是向右,数据体现的业务价值指数越高, 体现的业务价值越高。
图中浅绿和深绿的部分是大量的人工参与过程, 帮助对前面数据分析的过程和结果进行进一步的人工处理和加工。在过去IT主导的时代这两个部分往往由IT部门承担,被业务需求驱动,实施的效果不好,还往往成为业务部门诟病的对象。大数据时代,业务部门深度参与,逐渐成为数据的主要使用者和创新者,通过数据分析,业务人员解读,丰富,判断,决策,并最终完成执行的闭环,实现数据的价值化。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15