大数据数据库技术简介与分类分析
说起大数据生态,不得不提大数据生态系统图,而大数据行业却不断的发生着巨变,目前的这张图应该还算比较新了。
创业者们蜂拥至这个行业,这个行业正变得越来越拥挤。Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分,Spark是另一个基于内存计算的开源分布式计算框架,它试图填补Hadoop的弱项,提供更快的数据分析和良好的编程接口。
分析工具领域变得异常活跃,数据应用领域正如预测一样逐渐成为重心。一些类别如数据库无论是NoSQL还是NewSQL和社交数据分析正日趋成熟。
今天就先让我们从众多内容当中,先挑选一块和大家探讨探讨,先从数据库说起吧。
从大的角度讲,可以简单的将数据库分为两类:
●传统SMP架构的数据库,主要指代的是传统的关系型数据库,例如DB2、Postgrel,MySQL等。
●新型数据库,主要指代为支持大规模数量集,高并发要求,高可扩展性等孕育而生的新型数据库。包括目前大数据生态当中主流MPP,NoSQL,NewSQL数据库等
传统数据库和新型数据库的一个主要区别是SMP架构VS分布式/并行
●SMP(Symmetric Multi-Processor)
SMP是对称多处理器结构的简称,指代多个CPU对称工作,无主次或从属关系。各个CPU共享相同的物理内存,每个CPU访问内存中的任何地址的路径是相同的(访问的时间是相同的),因此SMP也被称为一致存储器访问结构(UMA: Uniform Memory Access)。
●NUMA(Non-Uniform Memory Access)
NUMA是非对称的多处理结构,刚好与SMP相对,多个CPU工作时,对内存的访问路径不同。NUMA架构的提出主要是解决SMP架构下多CPU扩展的问题。
●MPP(Massive Parallel Processing)
和NUMA不同,MPP提供了另一种进行系统扩展的方式。它由多个SMP服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统。
SMP和NUMA都主要指向单一的计算机系统,而MPP则有点集群的意思了
●原子性(Atomic)
整个事务要么成功,要么失败,杜绝部分成功
●一致性(Consistent)
事务的运行并不改变数据库中数据的一致性。例如,完整约束了a+b=10,一个事务改变了a,那么b也应该随之改变
●独立性(lsolated)
也称作隔离性,指两个以上的事务不会出现交错执行的状态,因为这样不可能会导致数据不一致
●持久性(Durable)
事务执行成功以后,该事务所对数据库做的更改便是持久的保存在数据库之中,不会无缘无故的回滚
传统基于关系模型的数据库遵从ACID基本理论,而新型分布式数据库则并不完全遵从该理论
●一致性(Consistent)
即数据的⼀一致性,简单的说就是数据复制到N台机器,如果有更新,要N台机器的数据一起更新
●可用性(Availability)
在集群中一部分节点故障后,集群整体还能响应客户端的读写请求
●分区容错性(Tolerance)
分区发生但不影响整个系统的运行
基于传统关系型模型数据库更关注CA,新型NoSQL数据库更关心CP,AP
根据体系架构来分类
从数据库的体系架构来看,可以将数据库分为:
●SMP Database
这类数据大多指代的是基于传统关系型数据库模型的数据库,比如IBM的DB2,Postgres,MySQL等
●MPP Database
基于MPP体系架构的数据库,例如Teradata, Greenplum, Netezza等
●Distribute Database
严格来讲MPP也应该属于分布式数据库,但这里更多指的是新型NoSQL和NewSQL数据库,例如Hbase, Cassandra, Hive, mongoDB等
根据数据库对SQL的支持情况,可以将数据库分为:
●SQL Database
而SQL数据又可以细分为:
●NoSQL Database
而NoSQL数据库本身又是非常宽泛的,其又可以分为多种类型:
无论是「OldSQL」,「NewSQL」还是「NoSQL」,都是大数据解决方案中经常提及的名词。那么面对传统的SQL数据库, NoSQL数据存储以及NewSQL数据该如何进行选择呢?其实,没有任何一款可以应对所有的应用场景,应该根据应用场景选择对的数据库。
对于传统的SQL数据库来说,它已经被使用了多年,成为了很多应用服务过程中依赖的核心组件。如果对于自身的应用来说它的运行和性能表现是可接受的,那么其实是不需要考虑替换的。没有必要的替换或更新只会引入更多的工作量,更大的风险。对于传统SQL数据库而言,其优势主要体现在:
●提供了系统运行多年的稳定性和可靠性,对标准SQL的支持能力
●与ORM的兼容度
●拥有更加丰富的事务处理功能
●即席查询的能力
●成熟而稳定的商业生态
传统SQL在过去一直处于市场的垄断地位,但是随着存储,处理和分析的数据量指数倍的快速增长,对传统SQL数据库形成了非常大的挑战,其劣势主要体现在:
●设计架构决定了很难进行扩展,性能瓶颈往往局限在单机的处理能力上
●传统SQL数据库系统设计遵循的往往是通⽤用标准”one size fits all”,因此在很多专用场景下也不是最优的
●复杂的性能调优参数,需要在性能,数据安全,资源使用等多方面平衡,调优成本非常高
对于NoSQL数据库来说,它在目前的大数据生态和真实应用场景中已经越来越多的被广泛的应用。对非结构,半结构化数据的支持使得在很多特定场景下的开发非常简单,对于对SQL弱依赖的业务,NoSQL的引入不但降低了本身的成本而且增加了系统的扩展性和性能。其优势主要体现在:
●大多NoSQL设计遵从最终一致性,因此具有更高的可用性
●同时基于最终一致性的系统相比于传统的OLAP关系型数据库具有更好的负载扩展性,支持更大的数据集
●很多NoSQL系统对于非关系性数据,例如log messages, XML and JSON documents进行了更多的优化
尽管NoSQL数据库技术目前发展非常迅速,应用也越来越广,但是其还是有自身的局限性:
●NoSQL数据库基本上不支持事务,也不遵从ACID。因此对于严格依赖ACID的应用并不适用
●对OLAP-style的查询并不能直接进行很好的支持,需要更多应用开发量
NewSQL也是目前比较流行的术语,与NoSQL相比还比较新。NewSQL系统基本上是基于关系数据库模型的,对SQL的支持非常好,与此同时尝试解决传统SQL数据库面临的问题。NewSQL数据库的设计目的不仅具有NoSQL对海量数据的存储能力,还保持了传统数据库支持ACID和SQL等特征。NewSQL的主要优势是:
●减少了应用研发和设计的复杂度,提供了强一致性和全事务支持
●对SQL的支持以及相应的标准工具
●无需应用层面大的改进便可以在数据和查询模型的基础上提供类似NoSQLstyle集群方案的扩展性和性能
于此同时,NewSQL也存在其自身的劣势:
目前还没有NewSQL系统具备像传统SQL数据库系统那样的通用性
●由于NewSQL自身in-memory的系统架构设计,在海量数据的支持上还是面临很多技术和成本的挑战
对于MPP和Hadoop而言,很多人都会把两者放在一起进行比较,可实际上这两者本身应该不太具有可比性,因为并不完全是同类的产品,之所以会比较,可能是因为在特定的应用场景下,我们不知道也不清楚该如何从他们之中进行选择。
无论是MPP数据库还是Hadoop,其基础架构都是以分布式为基础的。MPP数据库本质上是分布式并行关系型数据库系统,而Hadoop并不是一个简单的单一系统或技术,而是一个生态系统,由多个组件和不同的功能构建起来。
MPP数据库的主要架构特点是:
●分布式,基于网格计算技术
●Shared-nothing
●DAS(direct-attached storage)存储特质
●数据分区以及本地处理
●数据压缩
●高性能网络链接
对于MPP数据库,它比较擅长的是:
●关系型数据
●批处理
●即席数据查询分析
●低并发场景
●ANSI SQL支持度高
而与之不同的是,Hadoop⽐比较擅长的是:
●一次写多次度
●100+以上节点集群规模
●支持关系型和非关系型数据
●具有非常高的并发性
●批处理和分析负载
●具有非常好的扩展性
下表对MPP和Hadoop进行了对比分析
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14