大数据分析平台的六个关键功能

销售报表、市场调研、盈利分析...随着信息的不断丰富，相信您的企业已经为各种业务需求储备了大量数据，数据规模可能达数GB或数TB。

不过，物联网、人工智能等技术风头正劲，将来您可能需要考虑数PB、EB、ZB等的数据量。

您的大数据分析平台能否跟上步伐？

在慧与公司最近进行的研究中，66%的受访者认为其当前的解决方案无法分析大量数据；65%的受访者表示，查询程序运行非常缓慢或根本没有完成工作；43%的受访者表示，其当前的系统已经达到其性能极限。同时，从海量数据中提取深刻见解的需求在持续增长。

在数字时代，您选择的大数据分析平台必须满足非常广泛的需求。HPE总结了大数据分析平台必须提供的六大功能，满足您对当前及未来的需求，提高您的竞争地位，实现卓越的业务成果。

一、它必须容纳海量数据

如果大数据分析平台无法扩展以存储或管理海量数据，那么仅仅提高速度所带来的作用相当有限。大数据分析平台必须能够容纳海量数据。

大规模并行处理是用于扩展分析处理的理想技术，因为它同时利用计算机群集的存储和计算能力。它不仅在性能上有所扩展，而且其处理传入的大量数据流的能力也相应提高。

此外，被设计为用于处理结构化数据的大数据平台使用MPP，可进一步加速处理操作，这是因为已针对分析程序优化了结构化数据，并减少了回答查询所需执行的搜索量。结构化数据库能够更好地了解数据在数据海洋中的位置，并且可以精确地存取数据。

一般来说，非结构化数据库难以扩展到采用列式设计的结构化数据库所能达到的级别。但是，大数据分析平台可能整合有能够提高非结构化数据库的可扩展性和性能的功能。

二、它必须非常快

简单来说，数字时代下，用户不希望在运行查询时长时间地等待结果。他们期望即时得到满足，获得即时结果，而对其他工作负载没有影响。这意味着大数据分析平台必须增强现有应用程序的性能，允许您开发具有挑战性的新分析方法，并提供合理、可预测和经济的横向扩展策略。

从技术角度来看，要满足这些期望，必须结合列式数据库架构(相对于基于行的非并行处理传统数据库)和使用大规模并行处理技术或者说MPP。

理由在于：列式设计可最大限度地减少I/O争用，后者是导致分析处理发生延迟的主要原因。列式设计还可提供极高的压缩率，相比于行式数据库，通常可将压缩率提高四倍或五倍。MPP数据仓库通常按比例线性扩展，这意味着如果您将双节点MPP仓库的空间翻倍，那么可有效将其性能提高一倍。

列式设计和MPP的结合不仅能够大幅提高性能(通常约100到1000倍)，还可以实现更低且更透明的定价机制，例如针对每TB的模型而非传统的针对每处理器、每节点、每用户的定价方案。最终结果：性能呈指数级增长，同时大数据分析处理过程的总成本大幅降低。

三、它必须兼容传统工具

如果您的大数据分析平台依赖于“提取、转换、加载”(ETL)工具(如Attunity、Informatica、Syncsort、Talend或Pentaho)或基于SQL的可视化工具(如Logi Analytics、Looker、MicroStrategy、Qlik、Tableau和Talena），请确保该平台已经过认证，可与所有这些工具而不仅仅是主要供应商的工具搭配使用。此外，确保您使用的所有工具和扩展技术符合最新版本的ANSI SQL标准(SQL2011)。

四、它应利用Hadoop并增加Hadoop的价值

Hadoop是由Apache Software Foundation管理的开源软件平台，已经成为大数据分析领域中的主要平台。许多数据库专业人员将Hadoop评估为可解决其原数据仓库系统中存在的分析限制的潜在解决方案。遗憾的是，他们通常会发现，相对于基于MPP的列式大数据分析平台，Hadoop在即时查询和SQL分析方面的性能严重不足。此外，为了支持Hadoop上的数据仓库工作负载，必须开发新技术和获得新软件，并且在许多情况下还需要雇佣新的人员。

另一方面，Hadoop在数据分析处理中也提供了少数几个明显的优势。由于它是数据湖，可在一个位置存储数据，从而节约成本。它提供了暖存储和冷存储，这种低成本存储可保存可能会用到的数据，但并不保存日常分析所使用的热数据。它可提供数据发现功能，帮助您了解数据是否具有商业价值。

通过ETL工具，它可以在数据进入到组织时聚合或整理数据。如上所述，可以在Hadoop中经济高效地放置、存储和处理结构化、半结构化和多重结构化的数据。在采用关系数据库时，情况则并非如此。需要的是这两种方式的优点的组合：一种利用Hadoop的优势而不会导致性能下降和潜在Hadoop服务中断的方法。

因此，需寻求一种符合以下条件的大数据分析平台：可利用Hadoop作为用于持久性和轻量型数据管理的高效益平台，并且可同时加快传统型数据仓库工作负载和高级分析程序的速度。

五、它必须为数据科学家提供支持

数据科学家在企业IT中拥有着更高的影响力和重要性，因此大数据分析平台应在下述两个关键方面支持数据科学家。首先，新一代数据科学家采用Java、Python和R等工具来执行预测式分析。底层分析数据库应支持和加速创新型预测分析的创建过程。

其次，此平台应有助于将数据科学家的工作与业务目标联系起来。如今，数据科学家的角色常常从统计学家演变而来，后者相对而言更具学术意味，而且通常并不熟悉宏观业务目标。在某些情况下，会导致数据科学家得出的结论可能不完整、不准确或与业务成果无关。同时，商业人士常常乐于让统计学家在封闭的环境中工作，只在需要他们支招时才去找他们。

快速、高效、易于使用和广泛部署的大数据分析平台可以帮助拉近商业人士和技术专家之间的距离。

六、它应提供高级分析功能

根据您的特定使用情况，可能有必要深入查看由大数据分析引擎提供的内置SQL分析功能。您必须从底层查看，以了解究竟提供了何种SQL分析，而不用对该数据执行分析。例如，如果要对从设备获得的数据执行分析(如在物联网中)，则需要诸如“时间序列分析”和“差距分析”等分析功能。如果没有这些功能，您可能需要花费时间整理数据或编写自定义代码。

此外，对于许多组织而言，执行预测分析的能力正变得越来越重要。确保大数据分析平台不仅支持您在数秒钟内准备并加载数据，还支持您利用高级算法建立预测模型，轻松部署模型以进行数据库内计分。这些功能和其他功能将使您能够加速大规模机器学习、统计分析和图形处理，同时使数据科学家能够使用现有统计软件包和首选语言。