大数据是否可重复数据删除_数据分析师考试
我们所谈论的“文本”大数据，如日志或者从不同的来源（如网络、信贷机构、Facebook）收集的信息，它们都是高度可压缩的。事实上，大多数数据仓库产品都是基于column的压缩，以达到较高的重复数据删除比率和提高性能。毕竟，最快的I/O是你不必实现的I/O。
重复数据删除数据的结果是提高缓存利用率，而降低磁盘I/O。重复数据删除可用于任何规模的数据；只是目前大多数重复数据删除产品还不能处理大容量的数据，但这并不意味着不能实现。
当我们从整体存储角度来考虑，而不仅仅是从专业数据库的角度考虑时，Rob Peglar对于元数据的担忧就是有道理的。但也有许多的解决方法。
微软曾在名为“ChunkStash”的技术研究中提出了一种减少重复数据删除对RAM需求的方法。这种方法在RAM中仅为每个记录分配2个字节。
而复制节点之间的元数据问题可由初创厂商Scality提供的方法来解决，它使用DHT（Distributed Hash Tables）来处理元数据的分布。这与P2P（端对端）系统处理PB级规模数据所使用的技术是一样的。
从性能的角度来看，Scality并没有Isilon高效，但它提供了一种可能解决该问题的方法。
NetApp采用的方法和Isilon的方法一样“高性能”，而且是以更加简单的方式来解决这个问题，它并没有重复删除元数据的复制。重复数据删除在单个节点上实现，而集群更加智能于聚合同类型的文件。这对性能和重复数据删除都更加有利。
而诸如Vertica和Greenplum的数据库也得益于数据的位置。它们并不使用全局重复数据删除，却获得了可观的压缩比。
由戴尔收购的压缩/重复数据删除厂商Ocarina曾展示过如何从意外的文件（比如图像和视频）获得更好压缩率的方法。该方法可以用于像石油和天然气这样的行业，它们的数据曾长期被认为是不可能达到良好的压缩率。
许多其他厂商处理数据的方法可能会获得更高的压缩率。来自IBM的Jesse Jonas曾介绍了如何堆积数据的方法，这是一种非常不错的数据精简算法。
压缩和重复数据删除将在大数据中起到举足轻重的作用；这一切都将关于与经济。正如Steve Duplessie所指出的那样，下一代存储之争将围绕着经济所展开。如果你的系统相比竞争供应商的系统需要更多数据级的存储，那么你就难以去竞争。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
一、需求从哪来 做 Excel 报表时，"从一个透视表取数据"这个需求通常有三种来源： 汇总页引用：明细透视表在另一个 sheet，汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括：数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS，改一个维 ...
2026-11-11核心资源推荐 CDA教材（2025）：https://edu.cda.cn/goods/show/3151CDA模拟题（2025）：https://edu.cda.cn/goods/show/2845CD ...
2026-11-11核心资源推荐 CDA教材（2025）：https://edu.cda.cn/goods/show/3151CDA模拟题（2025）：https://edu.cda.cn/goods/show/2845CD ...
2026-11-11一、回归分析到底在解决什么问题 很多人学回归分析，是从公式开始的：最小二乘法、残差平方和、R²、t 检验。公式记住了，但一到 ...
2026-11-10一、等级聚类法是什么 等级聚类法（Hierarchical Clustering），中文也叫系统聚类法、层次聚类法，是聚类分析里最经典的一类方法 ...
2026-11-10考试范围 PART 1 大数据基础理论 占比（8% ） a. 大数据分析基础（1%） b. Python 基础（5%） c. Linux & Ubuntu 操作系统基 ...
2026-11-10一、业务背景 在后台列表、管理系统、报表页面的分页需求里，前端通常需要两份数据：当前页的分页记录、符合筛选条件的数据总条 ...
2026-11-09一、需求看起来简单，实际坑不少 "把文本里所有中括号 [] 中间的内容提取出来"——这是文本清洗里最常见的需求之一。日志里的 [I ...
2026-11-09大数据分析师证书考什么 考试范围 PART 1 大数据基础理论 占比（8% ） a. 大数据分析基础（1%） b. Python 基础（5%） c. Li ...
2026-11-09CDA数据分析师 出品 作者：李诗怡 一、数据处理概述 定义： 在正式开展数据分析之前，对原始采集的数据进行整理、修正、加工和精 ...
2026-11-06一、为什么数据要先标准化 拿到一份数据，各列的量纲往往完全不同：年龄单位是"岁"（约 20~60），收入单位是"元"（几千到几万） ...
2026-11-06一、为什么 Python 成了统计分析的主流工具 十年前做统计分析，主流选择是 SPSS、SAS、Stata。现在越来越多的研究者、分析师转向 ...
2026-11-06核心资源推荐 CDA教材（2025）：https://edu.cda.cn/goods/show/3151CDA模拟题（2025）：https://edu.cda.cn/goods/show/2845CD ...
2026-11-06“大学生必备证书有哪些”最容易被答成一张越长越好的清单。但校招筛选的真实逻辑是：证书要对应你投的岗位任务，并且在校期间确 ...
2026-11-05大学期间能报的证书，先别急着看“含金量榜单”。更实用的第一步是问：我现在这个身份、这个学历，符合报考条件吗？ 很多证书宣 ...
2026-11-05大学期间能考的证书很多，但真正需要先回答的是两个问题：当前有没有报考资格，以及这张证书对应什么岗位任务。 前者决定你能不 ...
2026-11-05先把结论说清楚：真正“只有在校大学生能考、毕业就彻底没资格”的证书数量不多，主要集中在语言类考试的部分专项、面向高校学生 ...
2026-11-05上班族问“考什么证书有用”，真正要解决的不是找一张“最值钱”的证，而是判断哪张证能嵌进你现有的岗位任务。同样一张证书，做 ...
2026-11-05职称证书不是统一的考试项目。同样“考职称”，经济、会计、统计、审计、软考走全国统一考试，工程、教师、卫生等系列多数走评审 ...
2026-11-05
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
