大数据四大类：应用、产品、工具、底层科技

当大家都在谈大数据分析和应用，台湾新创团队核桃运算MacroData却选择切入最底层的技术，打造即时资料分析引擎Big Object。创办人薛文蔚甚至想颠覆工程师从1970年代以来对资料运算的看法，也就是说，资料不必先下载到记忆体，运算完再放回去，而是设计出「in-place computing」模式，创造接近无限的空间，让所有资料都为了运算而準备好。10秒就能处理1亿笔资料，一台电脑就可以处理几十亿资料，比起现有的资料库，运算速度还要快50倍到100倍。

硬体科技的进步，促成大数据

　　核桃运算创办人薛文蔚指出，「目前处理大数据的技术还是在非常早期的阶段，很多技术还不是很方便，这就好像我们现在回头谈70年代的电脑一样。」

　　薛文蔚说，「昨天的垃圾，是明天的黄金。」随着硬体科技不断进步，现在储存资料的代价很低，所以有各式各样没有目的的资料被储存起来，才会形成这3-5年很红的「大数据」概念。

　　大数据面临的挑战是，很快获得很多资料，却难以想像要如何处理资料。当资料量很大的时候，要怎么做才能快速处理这些大数据?

　　叁年前，薛文蔚遇到中国供应商的单品项管理问题，必须同时处理40万个品项，乘上1万个通路时，预测出来的值是几百亿点。然而，现行的资料运算架构主流根本没办法处理，才让他进而去解决架构所产生的问题，直接从运算模式下手。

　　(图说：核桃运算创办人薛文蔚推出即时资料分析引擎，推翻工程师长久以来对资料运算的看法。图片来源：郭芝榕摄影。)

颠覆资料运算模式

　　「我们现在还在用1945年所设计出的电脑运算模式!」(也就是范纽曼架构)薛文蔚解释，以前记忆体很小，把资料当成外来物，程式和塬始码是一等居民，支配资料。每次要运算时，都要把资料从硬碟内搬移至记忆体运算，再搬回硬碟，花费很多时间在「搬移」。

　　目前大多数使用者端的资料库和程式都以这种逻辑设计出来，薛文蔚说，这样的工作台模式适合资料运算吗?

　　所以，核桃运算3年前设计出不必搬移资料的「in-place computing model」，试图要颠覆资料运算的模式。记忆体从32位元前进到64位元是一个很重要的观念改变，用空间换取时间，用有效率的方式对映到现有的CPU和记忆体，创造出一个无限的空间，把程式送到资料储存地运算，避掉资料搬移的过程。

　　例如，HTC就推出64位元处理器的智慧型手机Desire 820，可以把资料放在云端、伺服器和物联网上。

　　(图说：核桃运算颠覆资料运算的模式，开发出资料运算引擎BigObject。图片来源：取自核桃运算官网。)

　　此外，核桃运算在做运算时，会用各式各样的转换技术做分门别类，例如分开性别和收入，并善用关联，让4G记忆体可以跑100G资料，比MYSQL快100至1000倍。

　　薛文蔚指出，「只要一台64位元的电脑，就能处理几十亿笔资料，未来也可以用在手机上。降低一般人使用的门槛，展现平民化的大数据运算力量。」可处理关联式分析、多维度分析。

　　未来，嵌入式装置愈来愈多，大数据将是随处可见的技术。他更进一步指出，未来的使用者将会是资料导向，10年后可能变成人人都对资料「有感觉」，资料科学将成为基础知识，而非现在的专家系统。

大数据四大类：应用、产品、工具、底层科技

　　薛文蔚是台大资工系第一届毕业，在哥伦比亚大学念资工博士学位，1995年就开始创业。他将大数据分成应用、产品、工具、底层科技四大类，目前切入大数据领域的新创团队，大多都是大数据应用，包括手机、物联网，有一大部分落在社交媒体，用心理学分析关联度，例如两个人的相似度。

　　做大数据的平台和科技比较少，薛文蔚说，底层科技还有许多可发展空间，会形成一个生态系统。台湾的强项在硬体，像是固态硬体、永久记忆体、快闪记忆体等等，核桃运算也许会进一步结合硬体，让运算模式更快速。而10年后，底层的硬体可能会被生物记忆体所取代。