大数据、高性能环境对存储的需求

一直以来，高性能计算的主要目的就是提高运算速度，来解决大规模科学计算和海量数据的处理问题。高性能计算每秒万亿次级的强大计算能力，使其成为石油、生物勘探、气象预测、生命科学研究等领域的重要技术选择。但是随着数据量以及数据价值的不断增长，金融、电信、互联网等领域对高性能计算的需求不断加大。随着技术的发展，高性能计算系统的处理能力越来越强，任务的计算时间越来越短，对业务的价值不断提高。但是，要想实现快速的任务计算处理，高性能计算系统的存储能力是关键。因为在计算开始，要从存储系统中读取数据；计算结束时，要向存储系统中写入计算后的结果。如果这之间的读取和写入速度不匹配，不仅会拖延高性能项目的完成周期，低延迟还会严重影响高性能创造价值的能力。通常，高性能计算要求存储系统能够满足性能、可扩展性要求，保护投资回报：吞吐量达到几个甚至几十个GB/s ，容量能扩展至PB级；透明的访问和数据共享；集中式的智能化管理，高性价比；可按需独立扩展容量和性能等。中桥分析师在深圳华大基因研究院实地测试了EMC Isilon 产品在其HPC 环境下的运行情况，并记录下其结果。

   背景
    高性能计算（High Performance Computing—HPC ）指通常使用很多处理器（作为单个机器的一部分）或者某一集群组织中几台计算机（作为单个计算资源操作）的计算系统和环境。长期以来，高性能计算应用的主要领域是科学与工程计算，诸如高能物理、核爆炸模拟、气象预报、石油勘探、地震预报、地球模拟、药品研制、CAD 设计中的仿真与建模、流体力学的计算等。如今，像金融证券、政府信息化、电信行业、教育、企业、网络游戏等领域对HPC的需求也在迅猛增长。
   高性能计算的应用
    高性能计算有着广泛的行业应用基础，下面列举几个行业对高性能计算的应用需求：
   1. 航空航天行业
    在航空航天行业，随着中国航空航天事业的快速发展，尤其是载人航天技术的巨大成功，我国科技人员对空气动力学的数值模拟研究提出了越来越多的需求，常规的计算能力远远无法满足复杂的大型飞行器设计所带来的巨大需求。在航空航天企业的设计过程中，研究人员往往需要把飞机表面分成几百万甚至几千万个离散型的网格点，然后通过高性能计算平台求解方程，得出每个网格点的温度、速度、摩擦力等各种参数，并模拟出连续型的曲线，进而为飞机设计提供宝贵的参考资料。对这类计算来说，网格点分割得越细密，计算结果的精确度也就越好。但是这些大规模设计计算问题不但单个作业计算量庞大，且需不断调整、重复计算，因此高性能在航天航空行业中占据着举足轻重的地位。
    2. 能源行业
    石油能源作为国家战略资源，对于国家经济、安全、军事等各方面都具有非常重要的战略意义。石油勘探承担着寻找储油构造、确定井位的重要任务。目前的主流做法就是人为的制造相应规模的地震（视勘探地区面积与深度不同），同时在相应的地层遍布若干震波收集点。由于不同材料的地质环境对地震波的影响是有规可循的，所以借助这一点，通过相关的算法，即可以通过对地震波的传递演算来“计算出”地质结构，从而找出我们所需要的能源位置。这种计算量无疑是异常庞大的，由于地震波法勘探收集的数据通常都以TB计，近年来海洋油气勘探所采集的数据甚至开始向PB规模发展。为此，只有借助高性能计算，才能在最短的时间内处理这些海量数据。
   3. 生命科学
    在现代生命科学领域，以数据为驱动力的改变正引发着巨大的变革。海量生物数据的分析将会增强疾病的实时监控能力和对潜在流行病做出反应的能力，但海量数据的挖掘、处理、存储却面临着前所未有的挑战。特别是随着新一代测序技术的迅猛发展，基因组学研究产生的海量数据正以每12- 18个月10倍的速度增长，已远超越着名的摩尔定律，这使得众多生物企业和科研机构面临强大的数据分析和存储需求。
    在国内，生物基因行业的发展势头也不可小觑。2011年1 月30日，国家发改委已批复同意深圳依托华大基因研究院组建国家基因库，这是中国首次建立国家级基因库，首期投资为1500万元。深圳国家基因库是一个服务于国家战略需求的国家级公益性创新科研及产业基础设施建设项目，是目前我国唯一一个获批筹建的国家级基因库，是全球仅次美国、日本和欧洲三个国家级基因库之后的世界第四个国家级基因库。现在，该国家基因库已经收集了100 万GB的生物数据，包含基因组、转录组、蛋白质组、代谢组及表型的数据，同时也积累了约四十万份生物样本。预计该基因库最终将达到10亿GB级别的数据容量。深圳国家基因库和国际上已有的基因库相比，它的特点是既有“湿库”也有“干库”：前者把千万种实体的动植物、微生物和人类组织细胞等资源和样本纳入网络；后者汇集巨量的核酸、基因表达、蛋白、表型等多类数据信息，成为“大数据”生物学时代研究生物生长发育、疾病、衰老、死亡以及向产业化推广的利器。
   4. 金融行业
    金融说到底就是数据。在金融市场中，拥有速度就意味着更高的生产力和更多的市场份额。金融计算模型相当复杂，数据收集越多，计算结果越精确。金融分析师都迫切地需要一个能模拟复杂现实环境，并进行精确处理的金融计算程序，以便对每个投资产品及时地评估投资收益，衡量投资风险，以期获得更好的投资回报。也正因此，高性能计算已经越来越多地应用到全球资本市场，以期在最短时间内实现对市场的动态响应与转换。
    5. 气象预报
    世纪二十年代初，天气预报方程已基本建立。但只有在计算机出现以后，数值天气预报才成为可能。而在使用并行计算机系统之前，由于受处理能力的限制，只能做到24小时天气预报。高性能计算是解决数值预报中大规模科学计算必要手段。采用高性能计算技术，可以从提高分辨率来提高预报精度。
   6. 游戏动漫和影视产业
    随着3D、4D电影的兴起和高清动漫趋热，由高性能计算（HPC ）集群构成的“渲染农场”已经成为三维动画、影视特效公司不可或缺的生产工具。动漫渲染基于一套完整的程序进行计算，从而通过模型、光线、材质、阴影等元素的组合设定，将动漫设计转化为具体图像。以《玩具总动员》为例，如果仅使用单台工作站（单一处理器）进行动画渲染，这部长达77分钟的影片的渲染时间将会是43年，而采用集群渲染系统，只需约80天。