京公网安备 11010802034615号
经营许可证编号:京B2-20210330
在当今时代大数据需要的是什么
为了实现大数据所勾画出的美好愿景,你需要在数据层和基础设施层等基础架构中对数据进行抽象化的工作。

在云上的大数据拥有跨越大量节点、集群和层的众多潜在功能服务层,而这些节点、集群和层很容易变得不堪重负。为了应对这些问题。首先,你应该规划一个全面的云数据虚拟化基础设施。虚拟化云分析法是新时代中的大数据典范。作为一种集成方法,它能够确保大数据的统一访问、建模、部署、优化和管理成为一种异构资源。
与任何虚拟化一样,数据虚拟化是一种允许用户访问、管理和优化异构基础架构的方法,就好像它们是一种单一、且在逻辑上是统一的资源一样。这使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化。
与支持逻辑上统一的访问、查询、报告、预测分析,以及针对关系型、Hadoop、NoSQL等不同后端数据库应用的任何“SQL-虚拟化”解决方法相同,数据虚拟化的核心是抽象层。当然,数据虚拟化可能会转而依靠其他的基础设施虚拟化层,例如存储与服务器平台。在某些情况下,数据虚拟化可能会在地理上和多云环境中进行扩张。
在我们讨论的众多层中,虚拟化无疑是这些枯燥数据话题的一个缩影。但是如果你希望自己的大数据云平台能够解决以下业务需求,那么它们无疑是最基础的。这些具体的业务需求是:
■基于弹性、灵活拓扑结构的先进分析型资源
■汲取源自任何来源、格式和方案的纯消费性资源
■能够留存、聚合、处理任何动静结合信息的“延迟-灵敏”资源
■在价值链中扩展,在私有云和公有云中扩张的联合资源
■能够让你通过现有工具和应用,调整、扩展和升级后端数据平台的无缝互操作资源
是的,这是一项艰巨的任务。毫无疑问,数据虚拟化和虚拟的基础架构实践起来比说起来困难的多。此外,部署、管理和优化的工作也需要花费大量的资金。
基于云的大数据需要越来越复杂的虚拟化基础设施。对于大部分数据专业人员而言,解决这一难题就如同天文学家试图绘制出宇宙中的暗物质一样困难。他们知道这项工作既重要,但又十分的乏味和烦琐。实际上,大数据专业人员更喜欢从事Hadoop和NoSQL的研究,因为它们正在新的技术领域中闪烁着最耀眼的光芒。
随着大数据应范围的不断拓展,用户未来几乎必定要沿着虚拟化这条路前行。混合大数据云难以处理的异质性将推动用户选择这一方向。在私有云中,大数据平台融合需要一个虚拟化架构,以将新的方案与之前的投资相关联起来。然而,融合将会阻止用户持续的平台现代化与迁移尝试,妨碍用户将创新和适合的平台整合到云中,阻碍厂商的“产品-改良”循环。除非将所有的大数据方案都放到“通用的”公有云服务上,否则用户在多种组合方案中需要虚拟化公有云、私有云和混合云架构的访问。
当然,要沿着“数据-虚拟化”路线走多远,将取决于用户业务需求和大数据环境的复杂性。此外,还取决于用户对风险、复杂性和困难的承受程度。在未来,随着分析模型、规则和大数据云上汇聚的信息日益复杂,平台将成为虚拟化访问、执行和管理的核心。在这一新领域内,MapReduce将成为关键的(但并不是唯一的)开发框架。此外,MapReduce还将成为针对内联分析和交易计算的虚拟化架构的一部分。不过,目前这一虚拟化架构虽然涵盖范围更广,但是大部分仍没有被明确定义。
迄今为止,还没有人能够对这些将云与大数据世界拼接在一起的层、界面和抽象化展开进一步概述,而这也是一项摆在我们面前的艰巨任务。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11