美国数据分析框架、方法论与运营效率提升

数据是一种连接。它连接4个最基本的象限，时间，地点，任务，事件。我们为什么要说数据会是下一次技术革命浪潮的最重要的指针?大家来看一下，根据美国几家顶级研究机构的报告，(Gartner，IDC等等)，在未来的5年，我们会有40亿人通过互联网产生各种数据，将成就一个4万亿美元的市场，将有两千五百万种软件接入，250亿台各种各样的设备接入各种数据系统，五百万亿GB的数据产生。

美国数据分析框架和方法论

在美国，已经形成了非常系统的数据分析方法论。 这种方法论在二战期间就开始行驶，应用到军事，科技，民生等各个方面。 可以 数据分析分解为几个步骤 ，大家仍然可以看到，这里各个环节从先到后是以价值不断提高为条件的。

第一，也是最重要的一点，正确的数据采集，数据标签方法的实施，对未来的数据分析迅速产生结果有几何倍数的促进作用。这也是若干企业缺失或者非常忽略的部分。

第二：大数据的工程架构，数据仓库，分布式计算层面。现在的分布式计算系统，和以往的数据仓库的整体构架有了很大的分别，这要求我们的IT部门能够跟上节奏，实施部署新的基于开源的分布式数据技术、例如已经比较成熟的Hadoop，这个技术已经在美国应用了将近10年，渐渐在互联网公司变成了主流。

第三：响应性分析，这就是大部分企业也许做的最多的事情，就是不断地用数据回答业务方提出的各种问题，制作简单的报表，商业智能，BI等等。

第四：诊断性分析，比如说多维度的归因，积分卡的实施等等。

第五：战略型分析：竞争趋势，价格弹性，企业财务营收的判断等等。 过去企业的高层战略分析一直被BCG，麦肯锡等公司霸占，但是现在为什么没有出现在金字塔的顶端呢，就是因为大数据的出现。

第六：预测性分析即对未来的业务进行基于统计模型，机器学习，以及各种大规模模拟和优化的分析。

第七：即达到回到我们刚才说的全数据自动分析和决策。

真实情况下企业数据分析的现状

我们看一看大多数的企业都是如何完成这些工作的。 您们在座的各位行业领袖，特别是CTO专注技术的，是不是对这个图比较熟悉。

这不就是企业内部的数据流程图吗?如果我告诉您，这张图是美国汉密尔顿河污水处理的流程图您会怎么想? 这张图是把美国一条污染的河变成清水的过程，也非常类似于现在今天数据分析的流程。很多企业内部做数据分析的一个基本的流程正如：很多脏水流了进来，我们需要人力对它们进行各种监控，把他放到一个池子里进行沉淀。然后我们做各种清洗、聚合、再清洗、再消毒，再传输，一步一步，美国做过一个研究，真正从数据收集到最后数据的产生有用的商业价值的过程，需要三个星期到五个星期。大家想想，每做一个很简单的决策，需要三到五个星期的流程，这是多么痛苦的过程。未来的企业如果要在数据战略上成功，必须能够有能力迅速的把污水变成清水的能力。

大家再来看一看，真正产生的价值的部分都在这个金字塔的上端。而根据美国白宫的首席数据科学家DJPatil的一份研究报告，90%的数据工程和分析师的时间是放在数据收集和清理部分，只有10%左右的资源放在能够产生大量商业价值的工作上。在传统意义上来说，整个的数据分析是由若干的部门按照顺序处理，这样效能是非常缓慢的。大家讲大数据，数据是从数据标签的采集开始的，一般都由前端工程人员实施，然后数据传输的工作由IT来管理，ETL一般由企业内部的数据仓库或者数据平台的团队负责，BI(商业智能)部门在分析部或者存在于业务部门之中，然后我们还有各种商业分析师，统计学家参与其中，这个运行框架体系因为各个部门参与的人非常多，流程很长，大量降低了效率。特别是站在技术先头部队的互联网企业，做过各种尝试，比如想打破这个僵局就要对各个功能性部门进行整合，但是因为功能性的部门要求人员的能力和经验有千差万别的需求，造成了懂业务的部门很难真正理解技术，懂技术的部门又没有没有足够的精力完全理解业务部门五花八门的需求，这样就产生了若干决策环节的缓慢与低效。为了解决不断增加的需求，企业内部需要内建和定制化各种IT系统，这种定制化造成了企业内部各个部门形成了若干数据微型小岛，若干企业数据孤岛进一步增加IT部门的工作负荷、即对各种内部定制化的系统进行数据整合从而进行各种统一的数据决策。短期之内这种定制化的数据整合貌似解决了企业的信息决策的问题，但是在长远上看会甚至进一步拖慢企业决策速度。 请看这张数据分析金字塔图，在过去若干年里面，我们发现大数据分析真正产生价值就是上面10%的投入时间，会产生超过90%甚至超过90%的价值。但是他如果没有时间和没有资源做下面90%的工作，就不可能产生任何的价值。包括销售的管理也是一个数字驱动运营化。

中国今天飞速发展状态下，我们要问问自己，我们的企业是否每一家都有需要内建一个“污水处理厂”，或者重复开发和部署那么多种软件来为实现企业分析服务。今天我们面前的一个机会，就是如何用非常有效地采用先进的方法越过各种技术和管理鸿沟，让我们企业变得更有效率。而且人口红利的减少，企业增加效率就是我们要做的最重要一件事。

构建数据驱动闭环

如何提高数据分析，以及运营决策的规模和效率?

主要的手段，就是要对现有的业务的数据分析流程进行大规模的简化，从而达到端对端的整合，让决策分析系统趋于闭环。这种数据分析闭环的速度基本上等同于企业决策速度。企业大数据分析闭环至少要具备两个组成部分，第一部分：业务端的参与度，第二部分：技术端的实施。这个决策环业务端外部参与越多，技术端内部实施越少越快，那么效能就越高。如何理解呢，在美国最新的权威机构的研究资料中提到了下一代数据革命中的影子CTO的概念，即IT部门应该成为企业软件的外部管理者，而不是内部执行者。而且美国的云端SaaS软件，也就是把信息决策的功能放在云端从而跨越过若干IT的冗长流程和技术鸿沟。这已经在硅谷若干引领潮流的公司中有了很好的诠释，比如Salesforce，LinkedIn(领英)，Facebook(脸书)，Uber(优步)以及Airbnb等一流公司的各个部门都越来越多的采用采购基于SaaS的各种解决方案，而不是全部自建得到了充分验证。

GrowingIO.com，我们关注如何利用企业的移动互联网数据，希望我们做的数据分析产品能帮助企业把90%的数据分析工作完全自动化，弥补分析师资源的不足，能够帮助帮助企业把几个星期的信息决策变成几分钟内可以做的决策，变成很多员工能够利用数据驱动来做决策。从而大幅度的增加运营和决策的效率。让互联网企业能够有更多的时间优化他们的业务，更好的服务于他们的客户。