Delaware教授高光荣：大数据核心技术(2)_数据分析师

有了这个作为基础我们可以开始谈引擎核心结构的演变。我觉得大数据引擎的分析技术有三项。一项是执行模型和结构的技术。第二个系统软件的技术。第三是引擎的编程模型和优化技术，这三项相辅相成缺一不可的，做HPC的这群人都有过痛苦的经验和深刻的教训，这三方向的发展，在大数据引擎上面这三项也是非常重要的。我今天主要的是Execution Model，执行模型定义的一个API，叫做Execution Model API，然后你发展使得这个模型的定义双方有一个无缝连接，使得它能够达到你所需要的目的。最新的观点在这个上面，是这个Execution Model不仅仅影响这一层API，它同时也影响其他层之间的关系。所以这个事情非常重要，什么是Execution Model？比如说1948年总结的，那个Execution Model活这么多年，所有我们的接口，所有我们串型运算的接口在软件方面硬件方面这么长，我们一直试图整个的领域把成功经验用到并行操作和并行系统的执行模型，很可惜到今天仍没有成功。它的data不仅是程序自身产生的和程序自身确定的静态确定的这些数据，而是需要有动态的数据，什么叫做动态数据？比如所有传感器来的数据。你把问题表现成数学模型化然后编程而是要考虑这些大量随机的事务，Execution Model接入的数据，使这两种数据都可以使你系统里面无缝的结合起来。数据流的Execution Model没有这个旧年，数据里面甭管是可抗性的还是不可抗性，没有想象有一个温度的不可抗性，这个依赖关系没有办法表述。原来1970，1971年，1972年，1980年，这里面证明了Execution Model一致性完整性所有这些都需要重新的考验。我的意思就是说这个事情不能忘记，我们做大规模的处理历史经验非常重要。

    什么叫做创新？创新意味着人类积累起来的知识不要忘记，在新环境下怎么让它适应Execution Model这是很重要一部分的创新。我们计算机系统领域有很大矛盾，我们常常非常容易的忘记过去，不是故意的，是事太多了，每年都在追，看看明年有什么，我赶快追，没有这个时间。

    下面我用一个动画说明下Execution Model，在执行实现的时候误区在哪？这个误区就是把OS的作用给误解了，我的老师就是OS发起人之一很有名，他去年得最大的奖，他两个贡献，数据流是第二项，第一项是他在操作系统上做的贡献。这个动画就是Mechine Runtime Syelem。这个不是那个Runtime Syelem，这个有很多机器模型实现它，硬件跟Execution Model之间总会有一些坑坑洼洼不齐的地方。比如说你要求某一项操作在你Execution Model上，但是它硬件上，它的指令系统上，或者它系统结构没有直接反馈它，这时候你要做一层软件，它的任务就是补漏洞。这一层软件跟OS没有关系，最大的错误就是让OS执行这套软件。如果你注意最近这三年，美国主要的研究，都是强调Runtime Syelem和OS的关系，Runtime Syelem就是Execution Model跟OS的关系。并不是说OS没有用，但是它的任务是跟Runtime的分工。

    系统软件上面并行多核，打破了传统OS控制打破了OS控制一体现象，支持高性能高扩展低能耗，弹性，面临空间的根本性的挑战。第三项有了这个系统，有了结构，当然你有编程模型和优化技术，我只想强调当前优化技术集中在静态优化方法，我们编程模型和优化技术都是假定，所有的都要用芯片来做，优化也是在这上面做。包括我自己的Execution Model做的一些工作都是假定硬件上有芯片，但是都是很小的规模，现在就是最重要的就是有动态调度，有并发多元管理在RUNTIME这里。李永辉教授今天上午的讲话，他第一条我听清楚了就是说即使在英特网上细颗粒度的监控，使得整体的计划变成动态的虚拟化，这个实际上跟那个是一回事，自调整都是建立在这个基础上，程序自己监控自己。