关于云环境下大数据存储的思考与建议_数据分析师

最近几年，全球的数据量出现爆炸式增长，大数据存储需求发生了很大变化。数据量的大小由TB级增长至PB级，并仍在不断增长，企业日益将数据的深度分析作为利润增长的支撑点。随着社会的发展，各行业、各领域的数据量都会不断地增长，数据量的急剧增长不断对存储系统提出挑战，云环境下的大数据存储成为未来数据存储的发展趋势。
 
云环境下的大数据存储适用于我国政务、大型企业、部队与军工等领域。按照“基本型、系列化”的发展模式，为不同市场用户提供针对性的安全的存储产品。
 
一、云环境下大数据存储的现状
 
云环境下大数据存储属于云计算和大数据的基础支撑设施,发展空间巨大。云环境下的大数据存储作为基础设施需求迫切。随着云存储概念的不断普及与推广和技术的不断突破，国内外越来越多的研究单位和研究人员投入到云存储的研究与开发工作。
 
但是，大数据安全存储系统目前还几乎没有成熟产品，存储效率低和安全性差是现阶段云环境下大数据存储的主要问题。在涉密信息系统内，存储系统由于保存了大量涉密信息，是保密的重要环节，如果存储系统不能保证安全性，会严重影响云环境的安全保密性。
 
1、存储效率低，很难满足大数据的要求。
 
目前，存储服务器对数据多采用集中式存储。若对大数据进行集中式存储，需要集中存储系统的硬件支持，包括足够大的存储空间、高可扩展性的存储方案及非常高的I/O性能，而这些正是大数据存储发展的瓶颈。
 
2、存储安全性差，不能满足军工保密单位的需要
 
目前提供私有云产品的厂商只是提供了一个云计算的平台，采用的存储系统也是市场上主流的存储产品，并没有对存储上的数据进行合理的保护。特别是军工企业在生产、办公要符合国家保密局武器生产科研的保密资质、分级保护、等级保护需求，对存储系统的安全性有较高的要求。云平台能否在这些单位广泛应用，取决于云解决方案能否提供一个安全可靠并符合保密要求的环境，使建设在云平台之上的各种应用系统安全运行。
 
二、云环境下大数据存储的必要性
 
在互联网环境中，数据的泄露和破坏会对企业造成重大损失，如何实现大数据的安全存储一直是亟待解决的问题。随着大数据存储技术的发展，人们已经开始意识到数据安全的重要性。因此，云环境下大数据存储的研究很有必要也很有意义。
 
1、建设云环境下的大数据存储系统是国家涉密信息安全的重要保证。
 
面对迅速增长的大数据存储市场，数据安全性也成为用户关注热点，国内市场中包括用户和各大IT企业都开始逐渐重视数据信息的安全，特别是政府、军工行业，对于数据的绝对安全有着极为严格的要求。
 
现在我国军工政府部门急需符合保密、安全可靠性需要，特别是军工生产单位保密性需求的安全存储产品。包括：基于增强的身份认证，基于分级保护要求的访问控制，管理员的安全管理，细粒度的日志审计等。通过应用分布式文件系统和云计算技术实现本地无存储;使用加密卡技术保证数据存储安全，满足生产单位的大数据安全存储要求，同时符合分级保护、等级保护的标准要求。
 
2、建设云环境下的大数据存储系统是满足市场存储需求的措施。
 
目前云环境下的大数据安全存储几乎没有成熟产品,市场需求大，市场发展处于急速上升期。2013年8月，国务院印发了《关于促进信息消费扩大内需若干意见》，意见指出，到2015年，使信息消费规模超过3.2万亿元，年均增长20%以上，带动相关行业新增产出超过1.2万亿元;基于互联网的新型信息消费规模达到2.4万亿元，年均增长30%以上。
 
3、建设云环境下的大数据存储系统有助于国家信息安全战略的实施。
 
中央对网络与信息安全高度重视。2014年2月27日，中央网络安全和信息化领导小组成立，标志着网络与信息安全已经上升到了前所未有的国家战略高度，网络安全已涉及政治、经济、军事、外交、科技、金融、意识形态等方方面面，已成为关系国家安全的重中之重，而数据安全是网络安全的重要组成部分。
 
国家信息中心2012年组织召开“云时代终端安全技术与法规高峰论坛”;在论坛中，国家信息中心指出，国家政务外网已承载22个中央政务部门全国性业务系统，1200多个省级业务系统，接入终端超过50万台;未来云存储将取代传统存储成为云时代终端的主要应用模式，特别在政务办公领域将发挥重要作用，具有广阔的应用前景;在十二五期间，重点是加强对云存储的统一安全防护和集中管控。
 
三、关于云环境下大数据存储的建议
 
1、制定存储性能及安全性标准，实现云环境下大数据存储的规范管理。
 
目前，市场上的存储产品没有统一的安全标准，存在着严重的安全问题。各大厂商的发展战略大多以支持大容量、高速率为目标，以适应云环境，但忽略了数据本身的安全性。而传统的信息安全厂商对于存储领域关注度不够，造成目前市场上成熟的大数据存储安全产品处于空白状态。用户管理与身份验证强度较弱，且缺少数据隔离、数据流向控制甚至行为审计等功能，无法适应高安全信息系统对数据安全的趋势要求。
 
2、探索安全存储的新方式，使大数据的存储由集中式向分布式转变。
 
分布式存储是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为存储性能的瓶颈。分布式存储采用可扩展的存储结构，利用多台服务器分担存储负荷，不但提高了系统的存取效率，同时易于扩展。
 
采取分布式存储的方法，将数据分散存储在多台独立的设备上，一方面完善了数据库的性能，提高了数据的读取效率，这对大数据来说十分重要;另一方面增加了大数据的安全性和可靠性，当有存储设备故障发生时，只会影响局部数据的存取，而不会使整个数据库瘫痪;同时分布式存储也使大数据具有很强的横向扩展能力，可以任意添加服务器节点，并且可以继续提供数据服务。