大数据分析的未来是怎样的

本节探讨未来的大数据分析的技术前景。

要探讨的一件有趣的事情是在Apache Tez 之上实现机器学习算法。这里要解决的问题在于是否存在帮助实现迭代式机器学习的有向无环图执行器。主要的挑战是停止/结束条件不能是静态的，而只能在运行时。这一点已在最近由Eurosys 提出的Optimus 系统（Ke 等，2013）中探讨过，该系统提供了一个在DryadLINQ 上实现机器学习算法的途径。

另一件需要引起注意的有趣工作是来自斯坦福大学的Forge 系统（Sujeeth 等，2013）。Forge 提供了一种领域特定元语言（DSL），该语言允许用户为不同领域指定DSL。DSL 概念（Chafi 等，2011）的引入可作为分布式系统的替代手段——这是从程序员以及高效实现的领悟中抽象出来的。Forge 也有为机器学习提供的特定DSL，称作OptiML。Forge 既有单纯的Scala 实现（用于原型机）也有高效并行的分布式实现，后者可以部署在集群环境（用于生产环境）。Forge 使用Delite 框架（Brown 等，2011）实现了后者的一部分。性能测试显示，由Forge 在集群节点上自动生成的分布式实现相当于用Spark 实现的等价功能的40 倍性能，它也表达了Spark 仍然有优化的可能性——这一点值得做更进一步的探讨。

大数据方面的深度学习仍然是这一领域的圣杯。近期来自谷歌的论文显示已取得一定进展（Dean 等，2012）。这篇论文展示了两种训练算法，多点同时随机梯度下降算法和集群多节点L-BGFS，用于训练深度神经网络。核心思想是共享参数服务器用于多模型副本并行训练。尽管参数服务器在训练时是共享的，分片本身也会成为单点故障。一个可能的改进是在它们之间覆盖网络，作为通信的对等集合查看参数服务器，就像OpenDHT 或Pastry。这样参数服务器就实现了容错，甚至提升了性能。

使用前面章节介绍过的七大任务的目的是需要描述为机器学习这类计算并识别在大数据世界里当前实现的差距。就任务6、7 的实现而言，它们之间在集成方面就有差距（在处理数据方面的整合工作上），可能要求马尔科夫链的蒙特卡罗（MCMC）实现，正如在第1 章解释过的。MCMC 在Hadoop上是出名的难以实现。Spark 可能是最理想的。类似的，任务7（比对问题）可能要求隐马尔科夫模型（HMM）实现，这一点就是另一个领域的讨论了——实现了隐马尔科夫模型的大数据。应用包括图像的重复数据删除（比如，在Aadhaar 工程中——印度的身份项目，要求从存储的数以亿计的图像中找出重复的照片）。

D-wave 量子计算机已被安装在量子人工智能（AI）实验室（由NASA、谷歌，以及大学空间研究协会联合运行）。这一举措的根本目的是用量子方法探讨难以解决的问题（任务5）。谷歌还聘请了一些人工智能研究人员，比如Ray Kurzweil。这一系列的举措的圣杯是量子机器学习，可能会有人使用这一术语。而它已被麻省理工学院的Seth Lyod 在量子计算国际会议中提出。他的工作是使用量子比特检索（Qbit，量子比特）。在大数据集环境下它可以快速给出结果，同时又抛出了另外的有趣问题：隐私。量子比特不能在传输过程中窥探——窥探会影响量子比特状态。当然这是一个值得深入探索的领域。

分析领域的另一项有趣进展是基于磁盘的单节点分析——与云/分布式的趋势背道而驰。由GraphLab 的创建者发表的GraphChi 的论文（Kyrola 等，2012）提出了例证。GraphChi提供了一种处理磁盘上的大型图的机制。对于Twitter-2010 图型的三角形计数，它们表现为单节点低于90 分钟的性能，而相同功能的Hadoop 实现却要在一个分布式环境下的1400 个工作进程花费400 分钟。GraphChi 采用一系列外存算法和并行滑动窗口的方式异步处理磁盘上的大型图。2013 年10 月，在纽约的一次Strata 会议中，Sisense，一家小的初创公司，展示了他单节点10 秒钟内处理10TB 数据的能力，而全部花费不到10,000 美元。探索GraphChi 在分布式环境中的应用会很有趣——它可能会提供快速处理巨型图的能力。

另一个有趣的趋势是大数据、移动设备和云端在物联网（IoT）的支持下的整合。对于大数据架构/研究，这里蕴藏着巨大的机遇，因为通过物联网有更多来自用户的有效数据，同时还提供了数据分析的温床。通过云端的大量大数据平台，云端已与大数据做了很大程度上的整合。IoT 与大数据云的整合可能是一个可预见的趋势。