什么样的基础设施适合快速和大数据架构-CDA数据分析师官网

热线电话：13121318867

什么样的基础设施适合快速和大数据架构

2016-09-08

什么样的基础设施适合快速和大数据架构

为大数据和较新的快速数据架构提供基础设施并不是一个饼干切割的问题。两者对硬件和软件基础设施都有着显著的调整或改变。

较新的快速的数据架构与大数据架构有着显著区别，并且快速数据提供了真正的联机事务处理工具。理解大数据和快速数据需求的变化能够帮助你做出正确的硬件和软件选择。

相比企业在以往通常收集数据的方法，大数据是通过更大的数据容量，分析和获得更大的洞见的过程，大部分的数据(例如，社会媒体有关客户的数据)是可访问的公共云。这一数据，反过来，强调快速访问，不再强调一致性，也造就了如Hadoop这样一系列的大数据工具。因此，架构中的如下变化和重点是普遍的：

支持内部软件，如Hadoop和Hive，以及横向扩展的云功能硬件，用于社交媒体或其他大数据输入起作用的场景。

支持现有的数据架构的虚拟化和私有云软件。

支持大规模、深度和ad hoc分析软件，且允许数据科学家为企业定制需求的软件工具。

大规模扩展的存储容量，特别是近实时分析。

快速数据架构

快速数据是可以在近乎实时的情况下处理流传感器和物联网数据的架构。该种架构更聚焦于快速更新，会经常性地放开读取数据的限制，直到有数据被写入磁盘才会锁定。无论是通过现有的、典型的柱状图、数据库或从专门设计的Hadoop相关工具，采用这种架构工作的企业通常适需要对数据进行一些初始的流分析。在这一新生领域中，架构和重点的变化是很常见的：

用于快速更新和初始流数据分析的数据库软件。

大幅度提高快速数据存储的非易失性RAM和固态硬盘的使用(例如，1TB的主内存和1PB的SSD);

及时的软件约束，类似于那些旧版实时操作系统。

快速数据架构与大数据架构的融合

快速数据的目的是与大数据架构融合起来。因此，为了将这两种方式融合起来：

数据在快速响应的快速数据和减少限制的大数据存储之间是分离的。

该种融合架构允许使用大数据数据库和分析工具访问快速数据架构存储的数据。

这是一个非常简要的概述，典型的实现和有一系列的选择。主要的供应商销售各种各样的软件和硬件，以涵盖所有的大数据架构和绝大部分的快速数据架构，而开源供应商涵盖大部分相同的软件领域。因此，快速数据和大数据的实施往往是在成本与速度之间进行的平衡。聪明的买家能够通过增加有效的架构来获得竞争优势。

在快速数据领域的小型供应商Redis Labs和GridGain，大型供应商Oracle和SAP都在快速数据以及大数据两方面发挥了重要的作用。SAP可能是快速数据工具领域更加合适的供应商。在硬件领域，英特尔对快速数据有浓厚兴趣。其他传统的大数据厂商，如IBM和戴尔在收购EMC的过程中，还没有来得及发表就表现得很兴奋。在IBM和戴尔两者中间，EMC赚足了面子和里子，因此未来它在快速数据架构方面可能比IBM更有针对性。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名”