大数据考验整合能力

大数据在带来新的商机和用户的同时，也带来了诸多挑战。 大数据存储主要考验的是技术整合能力和资源整合能力。大数据是一项持久的工程，也是一个不断迭代的过程，不能一蹴而就。 
　　业务集中在云计算、大数据和业务连续性方面的柏科数据总经理林柏乔给记者举了一个例子，某客户需要做大量的日志分析，每天可以产生40TB的新数据，因此每天需要增加一至两台存储。越来越多的客户需要用大数据工具去分析其业务，以投入更加精准的资源去开发更具针对性的功能和新的应用。 
　　“美国20%的企业已经不同程度地使用大数据工具来提高投资回报率。中国的500强公司也开始积极关注并制定自己的大数据计划。不久的将来，大数据应用在中国会越来越多。”林柏乔表示。 
　　存储架构不变不行 
　　随着大数据时代的到来，用户对存储最迫切的需求就是更好的扩展性。存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，而且在升级过程中最好不要停机。随着数据量的持续增长和数据来源的多样化，传统的存储系统已经无法满足大数据应用的需要。存储厂商已经意识到这一点，并开始修改基于块和文件的存储系统的架构，以适应新的要求。 
　　北京荣之联科技股份有限公司基础架构部经理李明壮认为，大数据存储应该具备出色的扩展能力、可管理性、高可用、高性能和分布式架构等五大基本特征。“为降低成本，企业必须采用一个能够长期发展的数据存储平台，不仅需要购买行业标准的服务器和存储产品，同时还要保证产品的扩展能力和性能。存储系统需要持续满足企业需求，并可通过灵活的扩展来保证数据处理对高性能的需求。”李明壮解释说，“传统的网络存储系统采用集中式的存储服务器来存放数据，存储服务器存在性能瓶颈，不能满足大数据存储的需要。而分布式存储系统采用可扩展的系统架构，能够利用多台存储服务器实现数据的负载均衡访问，提高了系统可靠性、可用性和存取效率，且易于扩展。” 
　　“面对大数据，很多用户希望能充分利用原有的存储。因此，存储整合是一个不小的障碍。”李明壮表示，“我们要为客户考虑，如何更好地节约成本，使传统存储能够在新的大数据平台中发挥最大效用。” 
　　华胜天成集团市场总监唐北雁认为，用户除了要面对大数据的去冗降噪技术、高效率低成本的大数据存储、大数据的融合等技术方面的挑战以外，在大数据的落地模式、实时数据分析与实时业务响应方面也面临诸多难题。 
　　先里后外效率高 
　　林柏乔认为，大数据存储技术会发生颠覆性的改变，如果一个厂家只关注基于控制器的存储，那么其在大数据方面很难有用武之地。无论在美国还是中国，真正使用大数据的客户没有采用传统磁盘阵列的。“一个大数据解决方案如果想吸引用户，就应该提供比Hadoop的HDFS更加高效的文件系统。”林柏乔认为，“用户需要的是一个高效的综合了计算、网络和存储的解决方案，而不是单纯的存储。” 
　　大数据应用的前提是必须有明确的业务需求。换句话说，就是用商业思维来推动大数据，只有这样，大数据的价值才能得到充分展现。 
　　唐北雁建议用户可从以下几方面入手开展大数据应用。 
　　第一，做好企业非结构化数据的“数字化”，将处于半休眠和休眠状态的非结构化数据激活，进行统一管控。 
　　第二，先做好企业内部数据的整合，将通过企业IT规划、主数据管理、业务系统和其他渠道收集来的数据进行整合和标准化，然后再利用大数据分析技术解读这些数据，为企业提供有价值的数据分析。 
　　第三，建立合理的长期规划。当内部的数据得到充分应用以后，企业的目光就会转移到外部数据，特别是那些从移动互联网、社交商务、微博和微信中获得的数据。这些数据中也存在着大量的数据财富。 
　　据北京荣之联科技股份有限公司产品预研部产品经理甘国华的观察，中国用户更倾向于选择开放式的存储来搭建大数据平台。开放式的存储采用分布式存储架构，数据分散在各存储节点上。“作为集成商，我们能够为用户提供分布式存储，并在此基础上提供包括检索、分析和可视化工具在内的一整套大数据解决方案。”甘国华表示。 
　　大数据需要的是一个高效的存储平台。华为认为，构建这一平台的基础是全融合技术架构，它融合了存储、分析和归档功能，可以实现数据全生命周期的管理，提高大数据的应用效率。 
　　产品、规化都重要 
　　大数据既给系统集成商带来了挑战，也创造了新的商机。唐北雁表示：“大数据给我们带来的挑战主要是如何进行数据的收集和存储。在存储方面，用户应该通过云存储和分布式文件存储等技术实现对大数据基础构架的支撑，同时使用NoSQL数据库来实现数据的存储和管理。” 
　　李明壮表示：“在大数据平台建设中，我们不单纯为用户提供产品，更要帮助用户制定一个适应大数据需求的长久的数据中心规划。这个规划涉及我们以前不熟悉的软件方面的知识，比如数据分析、数据挖掘等。对于新兴的应用领域，我们需要从零开始了解这些行业用户的需求，为其提供更好的方案。”