大数据时代,用「大、快、杂、疑」四字箴言带你认识大数据

你可能有注意到，「大数据(Big Data)」在我们的生活裡已经掀起滔天巨浪，继云端运算(Cloud Computing)之后，俨然成为学术界跟科技业中最热门的潮字(Buzz Word)，似乎每家公司都在进行有关的研究，三句不离大数据。究竟大数据是怎么出现，又代表着什么意思呢?

大数据(Big Data)，巨量资料爆炸的时代

大数据(Big Data)—— 或称巨量资料，顾名思义，是指大量的资讯，当资料量庞大到资料库系统无法在合理时间内进行储存、运算、处理，分析成能解读的资讯时，就称为大数据。

“Big data is data that exceeds the processing capacity of conventional database systems.”

这些巨量资料中有着珍贵的讯息，像是关联性(Unknown Correlation)、未显露的模式(Hidden Patterns)、市场趋势(Market Trend)，可能埋藏着前所未有的知识跟应用等着被我们挖掘发现;但由于资料量太庞大，流动速度太快，现今科技无法处理分析，促使我们不断研发出新一代的资料储存设备及科技，希望从大数据中萃取出那些有价值的资讯。

「Big Data」这个词最早由 IBM 提出，2010 年才真正开始受到注目，并成为专业用语登上维基百科1，算是「大数据」的正式问世。而在 2012 年时，《纽约时报》的专栏文章「The Age of Big Data2」更是宣告了「大数据时代」的来临。值得一提的是，大数据并不是什么新兴的概念，事实上，欧洲粒子物理研究中心 (CERN)的科学家已经面对巨量资料的问题好几十年了，处理着每秒上看 PB (Peta Bytes，註：PB = 1,024 TB)的资料量3。

TED-Ed 的影片讲解 Big Data 概念，简单又好懂：

一般来说，大数据涵盖的範围很广，定义也各家歧异，2012 年 Gartner 公司的分析师 Douglas Laney 给予大数据一个全新定义4：「大数据是大量、高速、及/或类型多变的资讯资产，它需要全新的处理方式，去促成更强的决策能力、洞察力与最佳化处理。」

于是大部份机构跟公司都将大数据的特性归类为「3Vs」或「4Vs」–– 资料量 Volume、资料传输速度 Velocity、资料类型(Variety)，以及后来提出的第四个 V —— 真实性 Veracity。以下整理了 4Vs 简单的定义跟解释，可以从这四点切入认识大数据。

Volume 资料量

以前人们「手动」在表格中记录、累积出数据;现在数据是由机器、网路、人与人之间的社群互动来生成。你现在正在点击的滑鼠、来电、简讯、网路搜寻、线上交易... 都正在生成累积成庞大的数据，因此资料量很容易就能达到数 TB(Tera Bytes，兆位元组)，甚至上看 PB(Peta Bytes，千兆位元组)或 EB(Exabytes，百万兆位元组)的等级。

Velocity 资料输入输出速度

资料的传输流动(data streaming)是连续且快速的，随着越来越多的机器、网路使用者，社群网站、搜寻结果每秒都在成长，每天都在输出更多的内容。公司跟机构要处理庞大的资讯大潮向他们袭来，而回应、反应这些资料的速度也成为他们最大的挑战，许多资料要能即时得到结果才能发挥最大的价值，因此也有人会将 Velocity 认为是「时效性」。

Variety 资料类型

大数据的来源种类包罗万象，十分多样化，如果一定要把资料分类的话，最简单的方法是分两类，结构化与非结构化。早期的非结构化资料主要是文字，随着网路的发展，又扩展到电子邮件、网页、社交媒体、视讯，音乐、图片等等，这些非结构化的资料造成储存(storage)、探勘(mining)、分析(analyzing)上的困难。

Veracity 真实性

这个词由在 Express Scripts 担任首席数据官(Chief Data Officer, CDO)的 Inderpal Bhandar 在波士顿大数据创新高峰会(Big Data Innovation Summit)的演讲中提出，认为大数据分析中应该加入这点做考虑，分析并过滤资料有偏差、伪造、异常的部分，防止这些「dirty data」损害到资料系统的完整跟正确性，进而影响决策。

大数据特性，谨记四字箴言：「大、快、杂、疑」

大数据资料量庞「大」(Volume)、变化飞「快」(Velocity)，种类繁「杂」(Variety)，以及真伪存「疑」(Veracity)。尤其在这资讯大爆炸时代，这些资料变得又多、又快、又杂、又真伪难分。

当然在「大数据」一词像病毒一样，侵入我们生活中的各个层面，也有越来越多人提出更多的「V」来解释大数据，像是 Volatility、Validity、Value、Victory 等，这些分歧的意见在这就不多详述，只要知道有这些说法、以后听到别人说到「7Vs」时不要觉得惊讶就行啦!