大数据考验整合能力
大数据在带来新的商机和用户的同时,也带来了诸多挑战。 大数据存储主要考验的是技术整合能力和资源整合能力。大数据是一项持久的工程,也是一个不断迭代的过程,不能一蹴而就。
业务集中在云计算、大数据和业务连续性方面的柏科数据总经理林柏乔给记者举了一个例子,某客户需要做大量的日志分析,每天可以产生40TB的新数据,因此每天需要增加一至两台存储。越来越多的客户需要用大数据工具去分析其业务,以投入更加精准的资源去开发更具针对性的功能和新的应用。
“美国20%的企业已经不同程度地使用大数据工具来提高投资回报率。中国的500强公司也开始积极关注并制定自己的大数据计划。不久的将来,大数据应用在中国会越来越多。”林柏乔表示。
存储架构不变不行
随着大数据时代的到来,用户对存储最迫切的需求就是更好的扩展性。存储系统的扩展一定要简便,可以通过增加模块或磁盘柜来增加容量,而且在升级过程中最好不要停机。随着数据量的持续增长和数据来源的多样化,传统的存储系统已经无法满足大数据应用的需要。存储厂商已经意识到这一点,并开始修改基于块和文件的存储系统的架构,以适应新的要求。
北京荣之联科技股份有限公司基础架构部经理李明壮认为,大数据存储应该具备出色的扩展能力、可管理性、高可用、高性能和分布式架构等五大基本特征。“为降低成本,企业必须采用一个能够长期发展的数据存储平台,不仅需要购买行业标准的服务器和存储产品,同时还要保证产品的扩展能力和性能。存储系统需要持续满足企业需求,并可通过灵活的扩展来保证数据处理对高性能的需求。”李明壮解释说,“传统的网络存储系统采用集中式的存储服务器来存放数据,存储服务器存在性能瓶颈,不能满足大数据存储的需要。而分布式存储系统采用可扩展的系统架构,能够利用多台存储服务器实现数据的负载均衡访问,提高了系统可靠性、可用性和存取效率,且易于扩展。”
“面对大数据,很多用户希望能充分利用原有的存储。因此,存储整合是一个不小的障碍。”李明壮表示,“我们要为客户考虑,如何更好地节约成本,使传统存储能够在新的大数据平台中发挥最大效用。”
华胜天成集团市场总监唐北雁认为,用户除了要面对大数据的去冗降噪技术、高效率低成本的大数据存储、大数据的融合等技术方面的挑战以外,在大数据的落地模式、实时数据分析与实时业务响应方面也面临诸多难题。
先里后外效率高
林柏乔认为,大数据存储技术会发生颠覆性的改变,如果一个厂家只关注基于控制器的存储,那么其在大数据方面很难有用武之地。无论在美国还是中国,真正使用大数据的客户没有采用传统磁盘阵列的。“一个大数据解决方案如果想吸引用户,就应该提供比Hadoop的HDFS更加高效的文件系统。”林柏乔认为,“用户需要的是一个高效的综合了计算、网络和存储的解决方案,而不是单纯的存储。”
大数据应用的前提是必须有明确的业务需求。换句话说,就是用商业思维来推动大数据,只有这样,大数据的价值才能得到充分展现。
唐北雁建议用户可从以下几方面入手开展大数据应用。
第一,做好企业非结构化数据的“数字化”,将处于半休眠和休眠状态的非结构化数据激活,进行统一管控。
第二,先做好企业内部数据的整合,将通过企业IT规划、主数据管理、业务系统和其他渠道收集来的数据进行整合和标准化,然后再利用大数据分析技术解读这些数据,为企业提供有价值的数据分析。
第三,建立合理的长期规划。当内部的数据得到充分应用以后,企业的目光就会转移到外部数据,特别是那些从移动互联网、社交商务、微博和微信中获得的数据。这些数据中也存在着大量的数据财富。
据北京荣之联科技股份有限公司产品预研部产品经理甘国华的观察,中国用户更倾向于选择开放式的存储来搭建大数据平台。开放式的存储采用分布式存储架构,数据分散在各存储节点上。“作为集成商,我们能够为用户提供分布式存储,并在此基础上提供包括检索、分析和可视化工具在内的一整套大数据解决方案。”甘国华表示。
大数据需要的是一个高效的存储平台。华为认为,构建这一平台的基础是全融合技术架构,它融合了存储、分析和归档功能,可以实现数据全生命周期的管理,提高大数据的应用效率。
产品、规化都重要
大数据既给系统集成商带来了挑战,也创造了新的商机。唐北雁表示:“大数据给我们带来的挑战主要是如何进行数据的收集和存储。在存储方面,用户应该通过云存储和分布式文件存储等技术实现对大数据基础构架的支撑,同时使用NoSQL数据库来实现数据的存储和管理。”
李明壮表示:“在大数据平台建设中,我们不单纯为用户提供产品,更要帮助用户制定一个适应大数据需求的长久的数据中心规划。这个规划涉及我们以前不熟悉的软件方面的知识,比如数据分析、数据挖掘等。对于新兴的应用领域,我们需要从零开始了解这些行业用户的需求,为其提供更好的方案。”
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14