大数据时代,用「大、快、杂、疑」四字箴言带你认识大数据
你可能有注意到,「大数据(Big Data)」在我们的生活裡已经掀起滔天巨浪,继云端运算(Cloud Computing)之后,俨然成为学术界跟科技业中最热门的潮字(Buzz Word),似乎每家公司都在进行有关的研究,三句不离大数据。究竟大数据是怎么出现,又代表着什么意思呢?
大数据(Big Data),巨量资料爆炸的时代
大数据(Big Data)—— 或称巨量资料,顾名思义,是指大量的资讯,当资料量庞大到资料库系统无法在合理时间内进行储存、运算、处理,分析成能解读的资讯时,就称为大数据。
“Big data is data that exceeds the processing capacity of conventional database systems.”
这些巨量资料中有着珍贵的讯息,像是关联性(Unknown Correlation)、未显露的模式(Hidden Patterns)、市场趋势(Market Trend),可能埋藏着前所未有的知识跟应用等着被我们挖掘发现;但由于资料量太庞大,流动速度太快,现今科技无法处理分析,促使我们不断研发出新一代的资料储存设备及科技,希望从大数据中萃取出那些有价值的资讯。
「Big Data」这个词最早由 IBM 提出,2010 年才真正开始受到注目,并成为专业用语登上维基百科1,算是「大数据」的正式问世。而在 2012 年时,《纽约时报》的专栏文章「The Age of Big Data2」更是宣告了「大数据时代」的来临。值得一提的是,大数据并不是什么新兴的概念,事实上,欧洲粒子物理研究中心 (CERN)的科学家已经面对巨量资料的问题好几十年了,处理着每秒上看 PB (Peta Bytes,註:PB = 1,024 TB)的资料量3。
TED-Ed 的影片讲解 Big Data 概念,简单又好懂:
一般来说,大数据涵盖的範围很广,定义也各家歧异,2012 年 Gartner 公司的分析师 Douglas Laney 给予大数据一个全新定义4:「大数据是大量、高速、及/或类型多变的资讯资产,它需要全新的处理方式,去促成更强的决策能力、洞察力与最佳化处理。」
于是大部份机构跟公司都将大数据的特性归类为「3Vs」或「4Vs」–– 资料量 Volume、资料传输速度 Velocity、资料类型(Variety),以及后来提出的第四个 V —— 真实性 Veracity。以下整理了 4Vs 简单的定义跟解释,可以从这四点切入认识大数据。
Volume 资料量
以前人们「手动」在表格中记录、累积出数据;现在数据是由机器、网路、人与人之间的社群互动来生成。你现在正在点击的滑鼠、来电、简讯、网路搜寻、线上交易... 都正在生成累积成庞大的数据,因此资料量很容易就能达到数 TB(Tera Bytes,兆位元组),甚至上看 PB(Peta Bytes,千兆位元组)或 EB(Exabytes,百万兆位元组)的等级。
Velocity 资料输入输出速度
资料的传输流动(data streaming)是连续且快速的,随着越来越多的机器、网路使用者,社群网站、搜寻结果每秒都在成长,每天都在输出更多的内容。公司跟机构要处理庞大的资讯大潮向他们袭来,而回应、反应这些资料的速度也成为他们最大的挑战,许多资料要能即时得到结果才能发挥最大的价值,因此也有人会将 Velocity 认为是「时效性」。
Variety 资料类型
大数据的来源种类包罗万象,十分多样化,如果一定要把资料分类的话,最简单的方法是分两类,结构化与非结构化。早期的非结构化资料主要是文字,随着网路的发展,又扩展到电子邮件、网页、社交媒体、视讯,音乐、图片等等,这些非结构化的资料造成储存(storage)、探勘(mining)、分析(analyzing)上的困难。
Veracity 真实性
这个词由在 Express Scripts 担任首席数据官(Chief Data Officer, CDO)的 Inderpal Bhandar 在波士顿大数据创新高峰会(Big Data Innovation Summit)的演讲中提出,认为大数据分析中应该加入这点做考虑,分析并过滤资料有偏差、伪造、异常的部分,防止这些「dirty data」损害到资料系统的完整跟正确性,进而影响决策。
大数据特性,谨记四字箴言:「大、快、杂、疑」
大数据资料量庞「大」(Volume)、变化飞「快」(Velocity),种类繁「杂」(Variety),以及真伪存「疑」(Veracity)。尤其在这资讯大爆炸时代,这些资料变得又多、又快、又杂、又真伪难分。
当然在「大数据」一词像病毒一样,侵入我们生活中的各个层面,也有越来越多人提出更多的「V」来解释大数据,像是 Volatility、Validity、Value、Victory 等,这些分歧的意见在这就不多详述,只要知道有这些说法、以后听到别人说到「7Vs」时不要觉得惊讶就行啦!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03