登录
首页职业发展数据大爆炸 分布式存储将统领江湖
数据大爆炸 分布式存储将统领江湖
2016-04-10
收藏
数据大爆炸 分布式存储将统领江湖

随着新技术的飞速发展,我们身边的存储也发生了巨大变化,手机、平板、相机、笔记本越来越多的应用了固态存储,低功耗、高性能成为IT厂商们追逐的新重点。


    几年前云计算到来的时候很多企业开始关注分布式存储,这种多点的方式能够让数据更加安全,让备份更加高效。而当大数据到来后,企业自建的高规格数据中心逐渐增多,一些行业又开始走向了数据集中化,存储发展进入了一个全新的时代。


    分布式存储能够有效提升系统性能与可靠性


    最近我们听到一种说法:目前在企业级应用中,计算已经相对不太重要,相比之下存储则更受关注。原因在于计算一直都在跟随着Intel等上游厂商走,各家企业产品相差不大;而相比之下大数据时代存储更为重要,数据的管理、性能优化、成本控制以及可靠性等等都是用户所密切关心的问题。因此,最近几年我们看到国内存储企业也有了突飞猛进的发展,初志就是其中之一。

18


    谈到目前热门的云存储,初志科技CEO何小林认为:从体系结构的角度看,分布式存储将是存储领域影响最大的一个发展趋势。


    分布式存储系统,就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。


    传统的集中方式无法满足大规模数据存取的要求,就需要采用新的体系来管理系统中的数据分布式存储系统可以利用大量节点的计算和带宽资源用于数据存取,具有弱结构化、没有单一故障点、可靠性好、易于扩展、数据吞吐率高等优点。


    固态硬盘让存储性能腾飞


    天合万盛专注于股民SNS蓝海市场,由于同时运营着股民社交网站优股网和专利选股软件《优股雷达》,平时的企业运作中常常需要海量的数据挖掘和大规模计算工作,如何选择高性能、高稳定的存储设备成为了确保该公司至关重要的问题之一。

19


    谈到固态硬盘的应用情况,天合万盛数据工程师吴洋表示,相对于传统的机械硬盘集群搭组方式,固态硬盘是近期存储配件最为合理的选择。我们公司数据处理主要以上百万的短小数据包为主,以前的1200万条数据需要69天才能完成,现在使用三星840PRO之后只需要13.8天,而以近1个月的使用表现来看,三星840PRO十分适合我们的使用环境,大大提高了我们公司的工作效率。


    近年来,股票软件行业竞争愈发激烈,在分秒必争的股票交易环节中,早一秒为客户提供数据支持,就早一秒帮助客户赢利。


    分布式存储将统领江湖


    未来企业级存储会走向分布式还是集中式?同有产品营销总监周灵筠认为:大数据带来了更多的商业机会和广阔的发展前景,正在催生更大的市场和利润空间。未来,企业级存储产品必将根据不同类型用户的应用规模呈现不同的形态:对于中小企业用户(SMB)来说,基于公有云(SaaS)的存储解决方案将是其实现信息化的主要方式,快捷、方便、初期投入小、按需使用等特点对于SMB客户非常适用;而对于大型企业级用户来说,构建分布式存储为基础架构的虚拟化私有云数据中心是必然趋势,分布式存储系统的高可靠性、高可用性、高存储效率和极强的弹性扩展能力为大型企业级用户的业务健康运行提供了良好保障。在这两类用户之间,还有数量众多的中型企业,仍需要自己建设IT基础架构,以虚拟化为基础的虚拟服务器、虚拟网络、虚拟存储将成为中型企业构建IT架构的首选。


    我们从应用来看,分布式文件系统的数据存储解决方案,归根结底是将将大问题划分为小问题。大量的文件,均匀分布到多个数据服务器上后,每个数据服务器存储的文件数量就少了,另外通过使用大文件存储多个小文件的方式,总能把单个数据服务器上存储的文件数降到单机能解决的规模;对于很大的文件,将大文件划分成多个相对较小的片段,存储在多个数据服务器上。


    理论上,分布式文件系统可以只有客户端和多个数据服务器组成,客户端根据文件名决定将文件存储到哪个数据服务器,但一旦有数据服务器失效时,问题就变得复杂。因此,数据的管理至关重要,这也是目前国内国外厂商攻关的重点。在整个存储行业我们也看到了国内存储厂商的进步,相信大数据时代的到来必将引发新一轮革命。


数据分析咨询请扫描二维码

客服在线
立即咨询