“大数据”或成重要投资主线

由于数据产生成本急速下降，人类产生的数据量正在呈指数级增长，而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，数据的结构正在日趋复杂。全球在2010年正式进入ZB时代，根据IDC监测，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。换句话说，我们正处于大数据时代的边缘。
　　大数据时代的超大数据体量和超过80%比例非结构化数据的存在，已经超越了传统数据库的管理能力，大数据技术将是IT领域新一代的技术与架构，它将帮助人们从大体量、高复杂的数据中提取价值。我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将有可能给IT行业开拓一个新的黄金时代。
　　近年关于大数据主题的并购数量和规模正在逐步上升，IDC预测，2012年可能会是充满由大数据引发的合并及收购活动的一年。我们预计“大数据”将会是2012年A股一条重要的投资主线。
　　什么是大数据
　　“大数据”首先是一个现象而不是一种技术。个人认为想要理解“大数据”这个概念，首先要从“大”入手，“大”首先是指数据体量(volumes)大，指代大型数据集，一般在10TB 规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。
　　简而言之，“大数据”就是一个体量特别大，数据类别特别大的数据集。也就是说“大数据”本身并不是一种新的技术，也不是一种新的产品，而是我们这个时代出现的一种现象。而这个“大”大到了一种什么样的程度呢？可以说他即将突破现有常规软件所能提供的能力极限。
　　综上所述，我们觉得使用麦肯锡的定义可能会更为简洁明了：“大数据”是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。
　　大数据时代为何会到来
　　为何大数据时代会到来？“大数据摩尔定律”(全球数据量大约每两年翻一番)为什么会成立？首先，数据产生的成本下降推动了数据体量(volumes)的膨胀。对大企业而言，大数据的兴起，部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行更多任务处理；其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据；另外，就是把计算机聚合成服务器集群越来越简单。IDC的数据库管理分析师Carl Olofson认为，这三大因素的结合便催生了大数据。
　　根据IDC估计，由于计算机技术进步的持续推动，2011年企业创造、采集、管理和储存信息的成本已经下降到2005年的1/6，而同期企业关于数据的总投资自2005年以来却反而上升了50%。根据IDC判断，数据产生成本是符合反摩尔定律的，即数据产生成本大概每两年下降一半。而这一趋势，最起码会持续到2015年。数据产生成本的下降和增加的投资规模，最终导致了全球数据增速符合“大数据摩尔定律”，与之相匹配的现象即是全球数据存储能力增长显著。
　　同时，新的数据源增加了数据类型(variety)的种类。如果说数据成本的下降只是助推了数据量的增长，那么新的数据源和数据采集技术的出现则大大增加了未来数据的类型，数据类型的增加直接导致现有数据空间维度增加，极大地增加了未来大数据的复杂度。