大数据时代 PB级数据怎么管

如何理解PB级数据？说到这个数据量级，人们首先会联想到CADAL项目(大学数字图书馆国际合作计划),该项目可以说是开启了大数据时代PB级数据管理的一个典型案例。他的成功运行搭建为众多方案商提供了借鉴。

PB级数据挑战多

据大学数字图书馆国际合作计划管理中心副主任黄晨介绍：“CADAL项目面临的三个大数据应用挑战是：首先是 PB级数据需要长期保留;其次，需要24小时不间断为高校师生服务;最后，多重业务需要共享资源。为此，我们在建设中，从系统稳定性、易用性、分级存储/信息生命周期管理、硬件升级更新与业务连续性、可用性、性能六个方面去考虑。

事实上，CADAL在开展二期项目的过程中，就明显感觉到了大数据上述的三大应用挑战。经过一期和二期工程建设，CADAL项目已经完成250多万册古籍和相关音视频资料的数字化，面向全国2000所高校开展服务，部分资源向公众开放。250多万册古籍和相关音视频资料加在一起，数据量已经达到600TB。三期工程将继续扩大资源建设，数据量将很快达到PB级。

为此，信息基础架构平台需要能够动态地支持多重工作流，满足不同的性能要求、不同的容量要求，并且随时能够改变;需要有效地管理共享资源，存储资源按需分配，同时通过配额管理功能，以提高利用率。

选择方案的关键点

据了解，250万册的纸质图书，需要1栋15层的大楼才能容纳。如图2所示。而采用现代的技术手段，只需要一个机柜，就足够应对250万册甚至更多图书的数字化影像。图所3所示。

图2某省图书馆介绍，建筑面积18073平方米，书库主体15层，可容纳250万册藏书

图3 这样一组EMC Isilon机柜可以保存几千万册数字化图书

面对上述挑战，据CADAL项目管理中心数据主管刘涛老师介绍说，CADAL项目管理中心从系统稳定性、易用性、分级存储/信息生命周期管理、硬件升级更新与业务连续性、可用性、性能六个方面进行综合考察。最终选择了EMC Isilon，总容量1PB的EMC Isilon大数据存储系统在CADAL项目管理中心部署完成，投入使用。

方案核心优势

这一方案的核心优势主要表现在两个方面：

一是支持文件、FTP等多种灵活的访问方式，简化了操作，提高了效率。

CADAL图书数字化的大致工作流程是：共建高校申报图书资源à项目管理委员会审定à共建高校负责数字化处理并将数字图书提交给管理中心à管理中心将数字图书发布到前端存储对外提供服务，同时备份多份份到后端存储。

刘老师经常要做的一件事情是：通过工作机将共建高校提交的数字图书从临时存储复制到前端和后台存储。由于各台服务器连接不同的光纤存储，需要把存储设备挂接到服务器才能操作，并且各服务器还应用不同的操作系统，数据需要走“临时存储à工作机服务器à服务器à后端存储”的路径。换成Isilon之后，数据只需要走“临时存储à前端服务器à后端Isilon存储”的路径，由于Isilon的吞吐量很大，并且没有文件系统和LUN管理的兼容问题，可以同时从多个临时存储往后端Isilon存储保存数据，且没有额外的速度损失，效率大大提高。以前，从共建高校接收数字图书较多时，后端的发布或备份服务器上的数据流量会比较大，会影响其它数据访问或应用，发布和备份会出现瓶颈;如果大量使用光纤存储，服务器端的成本也会增加。采用Isilon之后，硬件上带宽提高了，系统上跳过了操作系统层面的处理，这种现象有较大改观。

二是支持磁盘分级存储、节点分级存储和SSD固态硬盘加速，既保证了大容量，也保证了高性能。

CADAL的做法是，将活跃的数据保存在配有固态硬盘的高速Isilon节点上，其它数据保存在普通Isilon节点上。不同高校图书馆提供的数字图书分区保存，存储空间按需分配，并实行配额管理，提高存储利用率。

PB知识链接：

TechTarget自己的百科网站Whatis有关于PB大小的定义：“PB是数据存储容量的单位，它等于2的50次方个字节，或者在数值上大约等于1000个TB。”

那么一个TB呢？

“TB是一个计算机存储容量的单位，它等于2的40次方，或者接近一万亿个字节(即，一千千兆字节)。”

未来学家Raymond Kurzweil他的论文中对PB的定义进行延伸：人类功能记忆的容量预计在1.25个TB。这意味着，800个人类记忆才相当于1个PB。

如果这样还不够清楚，那么Adfonic的CTO Wes Biggs给出了下面更直接的计算：

假设手机播放MP3的编码速度为平均每分钟1MB，而1首歌曲的平均时长为4分钟，那么1PB歌曲可以连续播放2000年。

如果智能手机相机拍摄相片的平均大小为3MB，打印照片的平均大小为8.5英寸，那么总共1PB的照片的并排排列长度就达到48000英里——大约可以环绕地球2周。

1PB足够存储整个美国人口的DNA，而且还能再克隆2倍。