1.引言
Hadoop提供了一个基于HDFs的简单数据库HBase,它的设计思想和数据模型都与Google开发的模型简化的大规模分布式数据库BigTabIe极为相似。HBase不支持完全的关系数据模型,只为用户提供了简单的数据模型,让客户来动态控制数据的分布和格式。从数据模型角度看,HBase是一个稀疏的、长期存储的(存在硬盘上)、多维度的、排序的映射表。这张表的索引是行关键字、列关键字和时间戳。每个值是一个不解释的字符数组,用户需要自己解释存储的字串的类型和含义。这种模型具有很大的灵活性,通过仔细选择数据表示,用户可以控制数据的局部化。但是这种灵活性的代价就是不支持完全的关系数据模型,这导致传统的数据存储格式无法应用于HBase。Google自身的GFS是为网页搜索功能量身定做的,采用BigTable的简单数据模型可以以字符串形式灵活存储网页的URL、时间戳等信息。HDFS的设计完全借鉴了GFS的思想,因此从目前的版本来看,HDFS对网页搜索具有较好的支持,但是对于使用传统的关系数据模型的产品来说,HDFS并不是一个很好的选择,因为它不能提供传统的关系数据库的相关功能。如上所述,以Hadoop为例,目前的开源解决方案并不完全适用于某公司的新产品需求,因此我们需要参照现有解决方案,设计符合自身需要的新方案。
2.DDF的数据划分策略
面对大量的异构的用户数据,我们有必要对数据进行划分,以期得到更好的查询性能。
数据划分策略可分为垂直数据划分(Horizontal panition)和水平数据划分(VerticaI partition),在DDF中同时采用了这两种划分策略。垂直数据划分是按照功能划分:
(1)首先把对象数据、查询数据和其他数据划分到不同的数据表中(数据库的表)。
(2)对于对象数据,由于是按对象类型(Object type)访问的,那么我们可以进一步按照对象类型进行垂直划分,把不同类型的对象数据划分到相应的数据表中。
(3)对于查询数据,在目前的研究阶段,也将其按照对象类型进行垂直划分,存储到相应的数据表中。
另外,采用对象的全局标识(UID)的哈希值(Hash)进行水平划分,从而将对象数据划分到不同的数据节点(Datanode)的策略,需要面对数据迁移的问题,即当增加新的数据节点时,如何确保原有数据节点上的数据不进行或者尽量少进行迁移。
3.DDF的数据存储策略
DDF借鉴了HDFS的设计思想,在架构中引入了数据节点的概念,整个数据存储策略的设计理念如下。
(1)每个数据划分只可能存放在同一个数据库中,不允许一个数据划分分裂存放在多个数据库的情况出现。但是,具有相同数据对象类型的不同划分可以存放在不同的数据库中。
(2)允许不同类型的数据(如对象数据和查询数据)采用不同的划分策略。
(3)概念层次上的划分和存储层次上的数据库是一个多对多的关系,也就是说,我们甚至可以将所有的划分存放在同一个数据库内。这种极端情况同样是被允许的。
(4)当我们将一个划分指定给一个数据库时,它们的对应关系应被记录,这样在查询数据时可以定位到正确的数据库。
4.DDF的节点划分策略
DDF的节点划分策略是建立在数据划分和数据存储策略的基础之上的,节点划分策略从应用层面上描述了DDF各节点的功能。
对于收到的远程更新和查询操作的请求,调度节点必须进行分析,以判断这些操作的作用域。如果操作与当前位置的数据无关,那么这些更新和查询操作会被拒绝。数据节点则应具有以下功能:
(1)存储数据。
(2)处理索引相关的请求。
(3)处理查询请求。
(4)负责部分对查询结果进行分页的功能。
(5)创建并管理集合对象(对缓存的查询)。
(6)负责对过期数据进行处理,这包括删除与过期数据相关的对象和索引。
数据节点本身并不关心数据的位置问题,调度节点应该关心数据所处的位置。数据对象的全局标识符决定了它应该位于哪个位置。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14