大数据的价值之路&数据价值之路的几个里程碑

大数据的4V并不在一个层面

讲起大数据，首先的印象就是《大数据时代》这本书中的提出的4V， 海量的数据规模（volume）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）。

前三个V直接描述了数据本身的特征， 大数据业界无数的公司推出了各种存储和数据处理的解决方案以应对大数据带来的技术挑战， 初期的淘金者赚的盆满钵溢，留下了大量存满数据的机房。可是说好的价值呢？

最后一个V实现的并不理想。

以业界最为闻名遐迩的Palantir公司为例，他的founder是大名鼎鼎的硅谷投资创业教父，paypal创始人彼得.蒂尔。它第一个客户和最大的客户是美国中央情报局CIA,协助反恐。据说正是依靠他们的协助，CIA找到了本拉登的踪迹。Palantir 为此声名大噪。其最新一轮融资4.5亿美元，公司估值在200亿美元，是仅次于uber, airbnb和小米的创业公司。

可是最近的一些爆料Palantir的一系列问题。去年有至少3个重要客户终止了合同，包括可口可乐，america express, 和纳斯达克。这些客户一方面抱怨公司收费太高，会高达100万美元每个月，感觉远远不值得。而且客户和公司的年轻工程师合作起来非常头疼。

Palantir公司上次宣布去年全年的“预约价值”是17亿美元，但是实际上最后的收入只有4.5亿美元。预约价值是客户可能要支付的费用，包括很多试用期，免费用户的合同价值。这两个数据的巨大差距说明很少一部分客户最后变成了付费用户。

Palantir公司情况恰恰彰显了大数据巨大数据价值获取并不容易。

大数据中的确隐藏着大量价值，但价值的实现不在于数据分析本身，而在于数据与业务场景的碰撞。

Palantir的数据实践中面临的几个问题：

1.数据的价值和行业场景紧密相关， Palantir擅长抓坏人， 通过大量的数据关联，发现业务中的异常，进而通过异常的控制实现数据的价值， 这样的场景在安全，金融等领域比较适合， 但当推广到其它场景的时候，效果往往差强人意。深度行业场景的介入往往需要对行业的深度介入， 成本高， 周期长。

2.数据及分析人员本身也是成本， 大数据获取成本， 数据科学家的高额成本，分析工作失败的机会成本，还有数据价值的体现程度。这些都对大数据项目产生直接影响， 这些成本与价值比能否控制在一定范围，长期看来，成本是否有线性下降的预期也是企业决策关键因素。

3.工程师的技能与思维能力，数据科学家培养及留住不易， 年轻工程师的培养，学习曲线和成本都是需要考虑的点。

数据价值之路的几个里程碑

Gartner有一个非常简单和清晰的数据分析和难度的划分模式从数据分析的难度到数据价值的实现给出了4个层面的定义。这四个层面的定义也非常适合被看作是我们数据价值探索上的4个里程碑。

•描述(Descriptive)，解决什么发生的分析，是相对简单的分析。 描述性的分析通常需要把大数据沉淀成为更小的，更高价值的信息，通过汇总来对一个已经发生了事件的提供洞察和报告。

•诊断(Diagnostic)，在事件数据描述的基础上， 提供对原因的深度分析， 通常需要更多维度的数据， 更长时间的数据跨度， 通过关联分析发现事件与数据之间的关联关系。

•预测(Predictive)，预测性分析通过一系列的统计，建模，数据挖掘和机器学习等技术来学习近期和历史数据， 帮助分析师对未来做一定的预测。

•规范分析(Prescriptive)，规范性分析突破了分析并扩展到执行阶段， 结合了预测，部署， 规则，多重预测，评分，执行和优化规则， 最终形成一个闭环的决策管理能力。

过去的实践表明，75%以上的数据分析场景是描述性的分析，大部分企业已经建立的数据仓库和BI系统都可以归于这一场景，日常运营报告，运营仪表盘， 驾驶指挥舱等都属于这一类的应用的实现。 诊断和预测类分析应用则更多使用在推荐， 运营异常分析等特定场景中， 使用的范围较小， 效果参差不齐。而规范分析的场景直接打通了分析与执行，目前主要是体现在自动驾驶， 机器人等更为特定业务场景中。在商业环境中， 数据的价值需要的不仅仅是分析， 真正的价值是通过数据分析后的业务决策和业务执行获得的。

笔者用下面的这张图来描绘数据的价值之路， 越是向右，数据体现的业务价值指数越高， 体现的业务价值越高。

图中浅绿和深绿的部分是大量的人工参与过程， 帮助对前面数据分析的过程和结果进行进一步的人工处理和加工。在过去IT主导的时代这两个部分往往由IT部门承担，被业务需求驱动，实施的效果不好，还往往成为业务部门诟病的对象。大数据时代，业务部门深度参与，逐渐成为数据的主要使用者和创新者，通过数据分析，业务人员解读，丰富，判断，决策，并最终完成执行的闭环，实现数据的价值化。