
改变数据中心面貌的5大数据挑战
新的数据中心架构提出了新的数据挑战:数据采集将如何驱动从边缘到核心的数据中心架构的发展。
数据显然不再是以往的样子。作为数字化转型的一部分,各种组织正在寻找数据的新用途。从飞机引擎的数据到杂货店的消费数据,每个行业都有大量的例子,数据成为企业竞争优势的关键所在。人们将这些数据称之为新数据,这与人们最熟悉的财务和ERP数据截然不同。那些原有的数据大部分是交易性的,而且是从内部资源中捕获的,而新数据推动了客户机/服务器的革命。
新的数据既是交易型的,也是非结构化的,公开可用,以及私下收集的,其价值来源于对其进行汇总和分析的能力。粗略地说,人们可以将这些新数据分为两类:大数据——用于批量分析的大量聚合数据集,快速数据——从许多来源收集的用于推动立即决策的数据。大数据和快速数据模式正在推动数据中心的全新架构的发展。
以下介绍数据中心新架构所提出的五个主要的数据挑战:
(1) 数据捕获正在推动数据中心架构从边缘到核心的发展:
从源头获取新的数据。这些数据来自海洋,来自石油和天然气勘探,也可能来自于卫星轨道、天气应用、电话、图片、视频和推特或电影的场景中。从源头收集的数据量将比人们目前所知道的高出几个数量级。
(2) 数据规模正在推动数据中心的自动化发展:
大型云提供商的规模已经十分庞大,他们必须在自动化和智能化方面投入大量资金来管理基础设施。任何人工管理在其运营规模上成本高昂。
(3) 移动数据正在改变全球网络:
如果数据无处不在,那么必须移动数据才能进行汇总和分析。当人们认为并且希望网络在40到100 Gbps的速度可以满足互联网带宽要求时,数据移动的需求却可能会增加100倍到1000倍。
(4) 数据价值是革命性存储:
毫无疑问,数据对组织来说越来越有价值,数据在较长时间内的实用性随着机器学习和基于人工智能(AI)的分析而日益增长。这意味着更多的数据需要存储更长的时间,并且数据必须是可以整体处理的,以便有效分析。
(5) 数据分析是未来计算密集型体系结构的驱动因素:
通过分析的性质,特别是机器学习,组织必须保留更多的数据,以便将其聚合到大数据存储库中。当应用于多个更大的数据源时,这些类型的分析提供了更好的答案。而分析和机器学习是一种计算密集型操作,因此大数据集上的分析驱动大量的高速处理。与此同时,分析的计算密集性促使组织推出从内存数据库到100 PB级别的对象存储多种新方式来存储和访问数据。
新的数据在源头被采集。从源头收集的数据量将比人们目前所熟悉的高出几个数量级。例如,一辆自动驾驶汽车每天将产生高达4TB的数据。而全球的汽车数量数以亿计,人们在未来必须应对这种新的数据冲击。
很明显,人们不能从源头采集所有的数据,并尝试通过当今的网络将其传输到集中的位置进行处理和存储。这推动了数据中心全新模式的发展,不同的环境以不同类型的数据为特征,这种新的“边缘计算”环境被优化,以便在传输到一个独立的核心数据中心环境之前,对大量数据进行捕获、存储,以及部分分析。
新的边缘计算环境将推动计算基础架构各个方面的根本性变革:从CPU到GPU甚至MPU(微处理单元),从低功耗的小型闪存存储到物联网(IoT)网络和协议,不需要宝贵的IP地址。
以下来看不同的数据采集例子。在生物信息学领域,数据在源头上得到爆炸式增长。在X光检查乳腺癌的情况下,拍摄这些图像的系统正在从二维图像转变成三维图像。二维图像需要大约20MB的容量来存储,而三维图像则需要多达3GB的存储容量,这意味着存储这些图像所需的容量增加了150倍。不幸的是,大多数存储二维图像的数字存储系统根本无法经济有效地存储三维图像。以往的存储系统被大数据库取代才能使数据蓬勃发展。
另外,组织希望对这些图像执行的处理类型是基于机器学习的,并且比以前任何类型的图像处理计算强大得多。最重要的是,为了进行机器学习,研究人员必须汇集大量的图像进行处理才能有效。处理这些图像意味着要跨组织来移动或共享图像,这些图像需要从源头获取数据,保存在可访问的表单中(不是磁带上),聚合成大型图像库,然后用于大规模的机器学习分析。
图像可能以原始形式存储,但元数据通常在源头添加。另外,可以在源头完成一些处理以实现“信噪比”的最大化。可以支持这些图像的最终架构的特点是:(1)在源头存储数据。(2)将数据复制到共享存储库(通常在公共云中)。(3)从共享的存储库处理资源以分析和处理数据。(4)采用网络连接以便结果可以返回给研究人员。这个新的工作流程正在推动包含多个存储位置的数据架构发展,并根据需要移动数据并在多个位置进行处理。
对于制造行业的物联网用例,这种数据架构的变化更加剧烈。例如,在西部数据公司,人们从全球各地的机器收集数据。这些数据被发送到一个存储在三个位置的中央大数据存储库,一部分数据被推送到亚马逊的Apache Hadoop数据库中进行快速数据分析处理。其结果可供全公司的工程师进行可视化和后处理。对源数据进行处理,以提高该数据的信噪比,并对数据进行归一化。对数据执行额外的处理,因为它在逻辑上集中的位置收集在对象存储库中。
由于这些数据必须长期受到保护,因此需要进行擦除编码,并分布在三个不同的地点。最后,数据一旦进入亚马逊平台,将再次使用分析处理。而支持制造用例的体系结构是一种边缘到核心的体系结构,在许多位置都可以进行大数据和快速数据处理,而且这些组件是专门为此过程的每个步骤所需的处理类型而构建的。
由于集中式数据的概念不再适用,这些用例需要一种新的数据架构方法。人们需要有一个逻辑上集中的数据视图,同时可以在任何工作流程的多个步骤中灵活地处理数据。数据量将会非常大,盲目地将全部的数据推送到一个中央存储库将会带来成本和时间方面更多的限制。智能体系结构需要开发人员了解如何在考虑到数据规模、传输成本以及处理要求的权衡的情况下逐步处理数据。
数据需要存储在适合其预期用途的环境中。人们称之为“数据蓬勃发展的环境”。大数据集需要共享,不仅用于协同处理,还要汇总用于机器学习,还要在云端之间进行分离,以便进行计算和分析。以数据中心为中心的架构解决大数据存储问题并不是一个好方法。为了从未来的大数据集获得最大的价值,需要采用一种边缘到核心的架构,并与混合云体系结构相结合。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08LSTM 输出不确定的成因、影响与应对策略 长短期记忆网络(LSTM)作为循环神经网络(RNN)的一种变体,凭借独特的门控机制,在 ...
2025-07-07统计学方法在市场调研数据中的深度应用 市场调研是企业洞察市场动态、了解消费者需求的重要途径,而统计学方法则是市场调研数 ...
2025-07-07CDA数据分析师证书考试全攻略 在数字化浪潮席卷全球的当下,数据已成为企业决策、行业发展的核心驱动力,数据分析师也因此成为 ...
2025-07-07剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03从招聘要求看数据分析师的能力素养与职业发展 在数字化浪潮席卷全球的当下,数据已成为企业的核心资产,数据分析师岗位也随 ...
2025-07-03Power BI 中如何控制过滤器选择项目数并在超限时报错 引言 在使用 Power BI 进行数据可视化和分析的过程中,对过滤器的有 ...
2025-07-03把握 CDA 考试时间,开启数据分析职业之路 在数字化转型的时代浪潮下,数据已成为企业决策的核心驱动力。CDA(Certified Da ...
2025-07-02