京公网安备 11010802034615号
经营许可证编号:京B2-20210330
聊一聊数据存储的七个技巧
如今,更为经济的闪存存储器在可预见的未来有望打破存储设备在应用性能上的瓶颈。为了充分利用闪存,人们需要以正确的方式和正确的技术来实现它。这样,就可以从整体的固态存储部署和存储网络中提取最高性能和更高的效率。
例如,对于活动数据,闪存可以提供更好的性能,移动部件比硬盘驱动器少。其结果是,对于主要的数据用例,特别是在长期使用情况下,部署闪存通常比硬盘更便宜。固态存储器的问题是只有大约5%到10%的数据中心数据是活动的。
因此,用户可以节省一些费用,并将剩余的90%或更多存储在容量更大,成本更低的硬盘上,或者越来越多地存储在云中。闪存不一定会单独提高数据存储效率和性能。用户需要从一个坚实的基础开始,以下就是提高数据存储效率的七个提示,可以让存储更快,更有效。
(1)改善存储网络
基于硬盘的系统的延迟不会暴露网络的弱点,虽然确实如此,但基于闪存的系统就是这样,在升级到闪存存储器或向现有系统添加其他SSD硬盘之前,应首先最大限度地提高存储网络的性能。
要考虑的网络有三个组件:
服务器
存储系统中的主机总线适配器(HBA)或网络接口卡(NIC)
网络交换机和布线基础设施
很容易看到前两个组件(NIC/HBA和交换机)的带宽能力,这应该至少部署10Gbps或16Gbps光纤通道(FC)或更快的通道。虽然带宽很重要,但延迟和交付质量更是如此。大多数数据中心不会生成足够的连续事务来淹没高速网络。
相反,他们产生了数以百万计小生意。网络将这些事务从服务器转移到存储器,并再次返回,这对于在闪存投资中提取最大性能至关重要。
(2)数据存储效率与性能
在存储领域中,效率和性能是截然相反的力量,因为效率通常以牺牲性能为代价来增加价值。
人们用于提高数据存储效率的许多技术(例如精简配置,重复数据删除和压缩)实际上损害了存储系统性能。闪存存储在效率和性能之间创造了一个中间地带。是的,使用这些技术对闪存的损害性能,就像他们对硬盘驱动器一样。但是由于闪存性能如此之高,它通常会提供过多的性能周期。
因此,从用户的角度来看,运行通常的数据存储效率程序不会显著影响性能。
一旦用户对存储网络进行了微调,就应该考虑使用闪存存储部署。
(3)实现服务器端闪存
在服务器端的闪存设计中,连接到该网络的网络和存储设置保持不变,基本上安装了基于硬盘驱动器的存储阵列,其中存储网络的速度和质量并没有实现共享闪存阵列时那么重要。
相比之下,服务器端闪存技术将来自多个服务器的内部闪存存储器聚合以创建虚拟闪存池。
这些服务器端的闪存聚合产品适用于读取和写入缓存,甚至适用于存储层。然而,它们在性能方面引入了网络因素,因为聚合需要网络来创建虚拟存储池。
(4)部署网络缓存
与存储系统升级(仅提高单个系统的性能)不同,网络缓存可提高网络上每个存储系统的性能。这些设备基本上位于存储系统和服务器之间,缓存那些最活跃的数据。
许多网络缓存在高可用性配置中可用,使其适合缓存读取和写入I/O.用户还可以调整网络缓存的大小,使闪存存储区域大到足以存储组织的整个活动数据集,从本质上将现有阵列转换为存档和数据保护存储系统。
(5)使用小型闪存阵列实施软件定义存储(SDS)
提高存储性能和数据存储效率的另一个选择是使用软件定义存储(SDS)。
这些产品在设备或管理程序上运行,并在各种硬件阵列上提供一组通用的存储软件功能。
一些软件定义存储(SDS)系统可以利用现有的存储硬件,以及在它们之间提供数据的自动迁移。如果向现有基础架构添加小型闪存阵列,则可以使用SDS自动将最活跃的数据集移动到阵列以提高性能,并且作为额外的好处简化管理,因为所有存储管理随后变得统一。
(6)优化应用程序
在实施新的或增强现有存储系统之前,请仔细检查要运行的应用程序。许多存储专业人员发现这会令人生畏,因为他们既不拥有应用程序也不理解其周围的代码。
好消息是,具有一些可用的程序可以检查应用程序代码,提供高质量的分析,并提出改变什么和在哪里的具体建议。虽然它可以跳过这一步,但会引出更多的硬件问题。
代码相关的性能问题可能被高性能存储屏蔽,但它不会允许闪存充分发挥其全部潜能,这从而迫使管理员需要寻找其他潜在的性能损失,如存储网络。在实现闪存修复代码之前,甚至可以避免首先需要闪存,或降低购买闪存的需要。
(7)购买新的全闪存或混合阵列
这对于部署现有基于硬盘的系统(仍具有使用寿命,在原始保修范围内)的数据中心而言是理想的,因此用户可以重新部署这些陈旧的机械硬盘系统,并使用新的闪存阵列进行扩展。但是,在某些时候,用户需要购买一些新的存储系统。这意味着在全闪存或混合阵列之间进行选择。
最初的决策相对简单:如果组织能够提供满足其容量要求的全闪存阵列(可以假设将满足性能要求),那么就实施采购,不要犹豫。
综上所述,提高存储性能的道路并非始于全闪存投资。它始于对整个存储网络的仔细检查。
一旦完成,还要考虑许多其他存储性能和数据存储效率增强选项,其中包括某些类型的闪存存储部署。哪些产品是选用于数据中心最好的工作方式,一些IT部门甚至可能甚至不需要升级他们的存储系统。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Excel数据分析中,数据透视表是汇总、整理海量数据的高效工具,而公式则是实现数据二次计算、逻辑判断的核心功能。实际操作中 ...
2026-04-30Excel透视图是数据分析中不可或缺的工具,它能将透视表中的数据快速可视化,帮助我们直观捕捉数据规律、呈现分析结果。但在实际 ...
2026-04-30 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-04-30在中介效应分析中,人口统计学变量(如年龄、性别、学历、收入、职业等)是常见的控制变量或调节变量,其处理方式直接影响分析结 ...
2026-04-29在SQL数据库实操中,日期数据的存储与显示是高频需求,而“数字日期”(如20240520、20241231、45321)是很多开发者、数据分析师 ...
2026-04-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-04-29在手游行业竞争日趋白热化的当下,“流量为王”早已升级为“留存为王”,而付费用户留存率更是衡量一款手游盈利能力、运营质量的 ...
2026-04-28在日常MySQL数据库运维与开发中,经常会遇到“同一台服务器上,两个不同数据库(以下简称“源库”“目标库”)的表数据需要保持 ...
2026-04-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-04-28箱线图(Box Plot)作为一种经典的数据可视化工具,广泛应用于统计学、数据分析、科研实证等领域,核心价值在于直观呈现数据的集 ...
2026-04-27实证分析是社会科学、自然科学、经济管理等领域开展研究的核心范式,其核心逻辑是通过对多维度数据的收集、分析与解读,揭示变量 ...
2026-04-27 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-04-27在大数据技术飞速迭代、数字营销竞争日趋激烈的今天,“精准触达、高效转化、成本可控”已成为企业营销的核心诉求。传统广告投放 ...
2026-04-24在游戏行业竞争白热化的当下,用户流失已成为制约游戏生命周期、影响营收增长的核心痛点。据行业报告显示,2024年移动游戏平均次 ...
2026-04-24 很多业务负责人开会常说“我们要数据驱动”,最后却变成“看哪张报表数据多就用哪个”,往往因为缺乏一套结构性的方法去搭建 ...
2026-04-24在Power BI数据可视化分析中,切片器是连接用户与数据的核心交互工具,其核心价值在于帮助使用者快速筛选目标数据、聚焦分析重点 ...
2026-04-23以数为据,以析促优——数据分析结果指导临床技术改进的实践路径 临床技术是医疗服务的核心载体,其水平直接决定患者诊疗效果、 ...
2026-04-23很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标是所有企业都需要的”“哪些指标是因行业而异的”“北极星指标和 ...
2026-04-23在数字化时代,客户每一次点击、浏览、下单、咨询等行为,都在传递其潜在需求与决策倾向——这些按时间顺序串联的行为轨迹,构成 ...
2026-04-22数据是数据分析、建模与业务决策的核心基石,而“数据清洗”作为数据预处理的核心环节,是打通数据从“原始杂乱”到“干净可用” ...
2026-04-22