大数据系列之大数据分析如何权衡存储
在之前,我们已就大数据分析的发展趋势以及对IT资源的需求进行了解析。接下来,数据分析师针对大数据分析的重要一环—存储,中桥将结合市场热门的存储技术如闪存、固态盘等,来从存储性能、数据保护等角度进行分析。
通过前文的相关数据分析,我们已经了解到,随着大数据时代应用数量、应用数据量和使用者数量的增长,系统对存储IOPS以及OLTP和OLAP的要求越来越高。传统存储也越来越无法满足业务关键应用的性能需求,这驱动了中国企业未来24个月新存储的部署。而固态盘、闪存技术作为新型存储,已经得到越来越多的企业的青睐。中桥的调查数据也验证了这一点。企业采用固态盘或闪存技术的主要原因排列如下:提高桌面虚拟化的性能、提高OLAP性能需求、满足业务关键应用性能和低延迟要求、提高虚机密度应用性能等。而桌面虚拟化、OLAP高要求、业务关键应用、低延迟以及高虚拟机密度也正是大数据时代的典型特点。
▲图1. 选择固态盘或闪存技术的主要原因
那么对于中国企业而言,所选择的新型存储技术应该以什么样的指标来权衡,才能确保整个大数据分析流程平稳、高效运行?中桥对企业的调查结果显示(图2),存储高可扩展性、高可用性和并行处理能力是企业评估大数据存储最重要的三个因素。高可扩展性可以确保企业的IT能够随着数据量的增长和性能需求进行扩展,以满足数据分析师对海量数据的存储和处理需求;高可用性则能够保证大数据分析过程的平稳、无间断运行,确保了业务连续性;高并行处理能力则能够确保在大数据处理过程中同时进行更多数据的处理,高效地完成数据分析,从而将分析结果转化为业务决策,加快产品或技术的面市周期。此外,低延迟、自动分层存储以及10GbE支持等也是用户评估大数据存储的重要考核因素。
▲图2 . 评估数据分析存储技术的重要指标
我们再换一个角度来继续解读一下存储。众所周知,不同类型的数据,其生命周期也是不同的,而根据数据类型和生命周期来进行存储资源分配,则能够有效提高存储利用率,这对于大数据的存储开支非常关键。此外,数据的有效管理也决定着生产应用的性能。中桥调查结果显示(图3),大量中国用户所采用的数据库面临着性能压力(84.4%),且没能有效地进行数据的归档和清理,其中,24.6%的受访企业甚至不进行数据归档和清理,还有高达34.9%的受访企业采取手动方式来进行数据归档和清理。将非活跃数据从主存储资源上清理出来,并根据数据类型和生命周期进行分层存储和归档,尽可能提高存储利用率的同时,还能够确保生产应用性能的稳定性,为数据分析提供所需的性能,有效降低主存储开支,延缓存储采购周期。
▲图3. 数据的归档和清理
在大数据时代,海量数据给企业带来的不仅仅是系统性能和存储难题,数据保护也是企业的一大焦点。调研结果显示(图4),用户就面临的数据保护挑战排列如下:“数据备份影响业务性能”(25.1%)、“数据保护网络带宽需求大”(20.7%)、“分级存储读写性能不能满足要求”(19.3%)。这表明,在大数据时代,海量数据的备份和保护以及分级存储,将对业务性能带来很大影响,包括对网络带宽的影响。这也从侧面再一次表明数据的分级存储对企业的重要性。
▲图4大数据数据保护的最大挑战
数据是大数据时代通过IT创造价值的“种子”。数据分析师在大数据分析的四个重要环节中——数据采集和存储、数据清理和整合、数据分析、分析呈现——满足大数据演进过程中对容量、性能和业务连续性的需求,提升资源利用率降低存储开支,不仅能保护好大数据这个“种子”,也是选择大数据存储的重要考虑因素。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14