2017大数据产业从数据中寻找智慧的力量

大数据产业发展了两年之后，从探索阶段进入了应用阶段。企业和政府看到了数据价值，从被动了解走向主动拥抱。数据被定义成重要的资源，正在得到企业的重视，在企业的经营过程中发挥着重要的作用。数据部门或者数据负责人也成为热点，正在帮助企业实施数据战略，寻找数的商业价值。

数据的商业应用成为企业认识数据价值的一个切入点，也是企业实施数据战略的一个重要前提。数据如何应用，数据如何同场景结合，数据如何变成生产力，数据如何指导业务决策成为了企业最关心的问题。大多数企业还是将精力放在数据架构，技术平台，数据采集等探索工作，没有理顺数据价值应用的发展路径，也没有从数据中看到真正的商业价值，看到智慧的力量。

数据本身是没有价值的，必须同商业需求结合在一起，才能够产生化学反映，体现商业价值。数据的应用场景常常成为企业在数据应用中最迫切的需求。中国有句古话，不积跬步无以至千里，数据的价值应用需要经历多个阶段，完成所有基础工作之后，数据的商业价值才能体现出来。就像一个武功高手，必须先拥有多年修炼的内功，才能够吐纳自如，于无形中取得优势，一击而中。

一、企业需要重新认识数据工程

从数据到智慧，从数据到资产，从数据到价值需要系统化思维和严谨的数据工程，没有经历过数据工程，数据应用将失去一个重要基础，无法在企业中发挥出作用。

企业发展过程中经历过业务工程和技术工程，业务工程是指商业模式寻找的过程，主要是指的业务流程的建立。经过多次试错，企业通过业务工程找到了成熟的商业模式。企业借助于业务工程建立了业务流程，业务工程帮助企业解决了业务环节中分工和责任的问题，帮助企业高效运转起来，并从根本上解决了企业扩大规模，高速运转过程中需要解决的管理问题，业务工程也可以看成是管理工程。

技术工程是指在业务工程实施过程中，业务流程的工具化、系统化过程。借助于信息系统的搭建和实施，企业对业务流程实施控制，提高流程效率，降低业务运营成本。技术工程就是信息化过程，帮助企业利用系统和工具来管理业务流程，实现业务工程。

业务工程和技术工程都解决了一个问题，就是现代化生产，标准化企业的商业模式和业务流程。业务流程成为业务工程和技术工程的核心，数据成为业务工程和技术工程的附属品和重要的流程产物。

在企业以产品为中心的时代，客户缺少选择权，数据作为副产品，主要是用于财务控制和资源管理。数据没有被作为一种资产来看待，更多的时候，数据只是一个流程的记录，是业务流程的副产品。企业不会化太多的精力去经营，企业将大部分精力放在了产品和是市场宣传。

当进入以客户为中心的时代之后，用户成为了企业的中心，数据也成了联系客户和洞察客户的直接桥梁。如果企业想更多地了解客户，分析客户需求，优化产品，提升客户满意度，企业就必须利用数据了解客户的消费，行为，心理以及预测客户未来的需求。数据将不再是业务流程中的副产品，将会是企业了解客户的一个途径。数据不再仅仅是业务流程中的记录，将会成为一类特殊的资产，从数据中看到更多的价值。

数据工程就是以数据为中心，从数据采集到数据应用的过程。

数据工程也是从数据到智慧的过程，其必须经历四个阶段，原始数据到原数据，原数据到信息，信息到知识，知识到智慧。

原始数据到原数据是数据采集和处理过程

数据以多种形式存在，主要的形式是流程中记录下来的数据，多为结构化数据，直接采集信息系统的数据库里面，形成原数据，直接就可以调用。另一部分是行为数据，分为主动行为数据和被动行为数据，主动行为数据包括社交数据，点击数据，浏览数据，言论数据等。

被动行为数据就是传感器数据，包括GPS数据，WIFI，ibeacon，摄像头，压力感应器，气压记，湿度记等传感器采集的数据，这些数据只有通过数据采集和处理，才可以放到数据库里面进行应用。

原数据就是指放到结构化数据库里面，可以直接调用和分析的数据，是数据应用的基础，数据标签的主要来源就是原数据。

原数据到信息是数据统计分析的过程

这个阶段是数据统计汇总，以不同维度和角度展现的过程，我门看到的数据报表和数据可视化过程就是数据到信息的过程。

信息是数据具有价值的第一个产品，从信息中可以看到业务发展趋势和业务经营情况。经常看到业务数据的环比、同比、对比、百分比、热力图等都是数据作为信息的展示方式。从数据统计汇总中基本上可以了解业务经营情况，产品销售情况，客户增长情况，客户满意情况等基本信息。信息可以帮助企业从数据中了解商业经营情况，从数据中了解运营成本，单个客户价值等情况。

信息是数据价值应用的第一个阶段，企业主要通过信息统计来了解客户满意度和产品销售情况，大部分企业的数据应用处于这个阶段。数据还没有开始帮助企业进行一些商业决策。

信息到知识是数据分析挖掘过程

这个过程需要人的智慧，借助于数据分析，企业可以发现一些商业机会，包括产品体验和客户需求，高价值客户和流失客户，潜在客户的基本特征和基本需求，也包括用户行为的分析以及需求。

在这个阶段企业可以借助于数据分析和挖掘发现产品销售的相关性，提升相关产品搭配销售。借助于知识图谱技术找到羊毛党和网络欺诈分子的特征，制定反欺诈的规则。通过分析用户下班之后在App中的行为，针对性推送一些具有价值的交易信息，帮助客户进行决策。通过分析客户物理行为轨迹和品牌偏好，帮助企业客户制定广告营销策略以及商铺搭配策略等。

信息到知识的过程是商业机会总结发现的过程，数据的价值体现在对客观事物规律的总结，在这个阶段，数据应用价值主要依靠人的智慧和高质量的数据分析结果。

知识到智慧是人工智能决策的过程

企业面临的数据纬度是海量的，数据对于商业决策影响是多方面的。一个商业决策可能需要考虑和分析数十万个数据个体和数据纬度，通过传统的方法和工具已经无法短时间内帮助企业计算出结果，同时复杂无序的非结构化数据也在一定程度上加大了数据分析的难度。

基于新数据技术的人工智能或者说是数据模型已经可以帮助企业在复杂的数据中去发现一些规律，帮助企业进行商业决策。例如金融企业可以借助于TDA拓扑分析、RF(随机森林)，GBDT，深度学习，遗传算法等方式来进行基于行为数据的风控。可以取得90%以上的判断准确率。另外互联网企业的开源计算框架(软件库)正在提升算法的速度和精度。