从大数据崛起看大数据应用发展方向

时至今日，我们的数据管理能力日益提升，但数据分析能力则相对落后。尽管工具与流程皆已齐备，但仍然缺少充足的数据科学家人员。根据2012年《福布斯》杂志发表的文章，早期大数据技术采纳方主要来自金融服务、电信、制造(特别是消费级产品)以及政府领域。

从大数据崛起看大数据应用发展方向
　　早期采纳方在起步阶段会使用其新近安装的大数据基础设施(例如HDFS、MapReduce以及NoSQL数据库等等)以实验各类新型应用。根据PacificCrest公司收集到的数据，各早期采纳方往往希望利用这些方案处理数据中心日志信息(包括服务器、路由器以及各类物联网传感器等)，旨在实现网络分析与IT系统性能监控。在此基础之上，亦有相当一部分企业尝试利用大数据技术进行财务数据(欺诈检测)与Web数据(情感分析以实现个性化体验)分析。
　　初步实验对于了解大数据基础设施收益、潜力与不足之处非常重要。然而根据CapGemini于2014年发布的报告，试水性实验的成功比例并不算高。其失败原因主要有三：1)将数据分散在多个不同团队中，因此访问难度较原始设计更高。2)数据被安置于遗留系统当中，导致将其导出至大数据基础设施变得非常困难。3)缺少统一而明确的全局性数据管理与数据分析方案，这使得工作人员难以从数据内提取信息。而随着此类问题的一一克服，近来我们发现成功案例变得愈发普遍。事实上，目前全球各地对于大数据基础设施及其附加方案的兴趣都呈现出快速升温之势。
　　企业向大数据技术投入的资金呈现增长之势。根据NewVantage指出，受访企业中有27%表示其将在2017年之前向大数据项目投入超过5000万美元资金。而在2014年面向同样企业对象的调查中，这一比例仅为5.4%。
　　目前，价值万亿美元的行业，包括医疗卫生、保险、农业、能源、医药、教育、汽车、运输以及物流等等，都在积极探索如何利用大数据利器解决自己面临的现实难题。举例来说，汽车制造商希望分析消费者的信息娱乐选择以提供更理想的车载信息娱乐体验，同时亦需要分析车辆性能数据以提供预防性维护建议。另外，无线运营商也希望了解消费者如何使用其数据，从而更好地提供内容并实现营收。
　　考虑到以上提到的企业投资与变革力度，风险投资商们则更为积极地为大数据初创企业提供资金。单在2015年年内，风投方为大数据初创企业提供的资金总额就高达67亿美元，超过2014年的60亿美元。
　　出于同样的理由，大数据初创企业也开始迎来一波收购浪潮。其中包括AOL收购Convertro，谷歌收购Adometry，苹果收购Topsy，Teradata收购AsterData与ThinkBigAnalytics，Salesforce收购Edgespring等等。最近，我们还见证了微软收购RevolutionAnalytics，HDS收购Pentaho以及Advance收购1010Data。除此之外，小规模收购亦层出不穷，包括Amazon收购Amiato等。
　　目前风投方的主要关注重点在于大数据基础设施与工具。尽管基础设施与工具部署同样显示出旺盛的生命力，但这里我们姑且将注意力集中在大数据应用身上。
　　信息技术中的每个新兴领域(例如商务智能、客户端/服务器计算、云计算以及移动计算等)通常都需要经历三个发展阶段：基础设施部署。在大数据领域，此类基础设施负责对数据进行存储、管理、移动与传输。工具部署。在大数据领域，此类工具用于搜索并分析各种形式的大数据并呈现处理结果。应用程序引入，通常将基础设施与工具转化为实际功能。遵循这样的分阶段实现方式，众多大型企业已经开始部署大数据基础设施与多种工具，旨在分析收集到的海量数据。
　　由于我们已经进入应用开发与部署阶段，因此最重要的是着眼于具体软件。截至目前，我们已经发现了三种主要大数据应用类型：
　　浅层应用，包括执行客户流失分析并围绕通用型分析工具进行开发(例如Dataminr与DataRobot等)。这些应用由数据科学家负责支持，从而执行经过严格定义的任务流程。这些应用通常只能在运行基础之上提供浅层分析能力。这些由分析模型与报告机制驱动的应用由数据科学家及服务专家进行开发与维护――他们往往来自管理咨询企业，且充分理解相关业务领域及最终用户需求。最终用户通常为商业分析师。
　　应用能够处理大数据，但无法实现任何形式的预测或预测性分析(例如Socrata及Zuora)。这类应用可能面向水平或垂直体系，其能够为最终用户――主要为商业分析师――提供理解数据并形成结论报告的能力。作为实例，纽约市就利用Socrata系统创建财务报告。
　　具备嵌入式预测性分析的应用。此类应用未来将分为以下两种类别。包含预测模型，并由数据科学家负责开发与定期更新。这意味着应用供应商必须拥有强大的服务能力以支持软件功能。此类应用包括AgileOne、OPower、ZephyrHealth、Duetto以及DataXu与MediaMath等在线广告应用方案。
　　所使用的预测模型可由应用本身自动构建。此类应用厂商包括Oration与Namogoo。归属于这一类别的应用可能面向横向(例如AgileOne与Namogoo)或垂直领域(例如OPower、Duetto或者Oration)。
　　这三种大数据应用类型可被视为应用领域的开创者，如今以其为基础又有第四种见解型应用开始出现。之前提到的第三种应用同见解型应用最为接近，但二者间又存在着重要差异：其能够做出预测，但无法形成见解。换言之，第三种应用无法根据预测结果执行对应操作。相反，它们依赖于用户来识别特定预测结果并执行对应行为。
　　总结
　　尽管仍然面临多种障碍(每一种新兴技术在出现后都必须面对挑战)，但大数据的早期采纳方已经在相关项目当中积极投资，并将其部署至企业业务系统当中以解决各类关键性难题。为了实现大数据的跨行业处理潜能，各风险投资方都在积极为大数据初创企业提供援助，希望其解决方案能够为大型企业客户所采纳。
　　考虑到已经陆续出现的大量大数据基础架构及部署分析工具，多数企业开始将注意力转向大数据应用程序。我们确定的这三种具体类型涵盖了相继出现的各类新型大数据应用。其中一些能够提供预测结论，但却无法实现见解与实际行动，这亦是大数据应用尚未彻底发展成熟的主要标志。在未来的文章中，我们将深入探讨见解型应用――即第四类亦是最具发展前途的大数据应用类型。