你真的了解大数据分析吗_数据分析师考试

本文将介绍大数据分析的主要步骤和面临的挑战。大数据分析包括以下步骤：

数据采集——从各种常规和非常规来源收集非结构化和结构化数据，包括机器传感器。

数据存储——将数据存储到稳定、分布式和可扩展的存储中，它们位于有复制副本的消费类硬件中。

描述性分析——汇总数据并开发数据可视化。

预测分析——使用可用数据通过监督学习算法开发模型。

规范性分析——开发利用预测结果的场景。

我们仍然没有涉及到帮助我们优化大数据分析步骤的挑战。我将介绍探寻大数据真实价值过程中会遇到的一些挑战。下面是一些问题及解决方法。

缺少数据源或隐藏数据源的标识：有可能数据采集步骤中没有隐藏的数据源。大数据并不限制数据源的数量，并且鼓励从所有可用数据源采集所有的数据。一个经验法则是采集所有用于解决大数据问题的数据。在这种情况下，我们需要保证采集所有数据的方法有足够的安全性。可以有多个团队参与数据采集。

数据安全性、缺少统一数据服务层和统一数据建模可能导致数据存储步骤产生数据孤岛。我们可以使用统一数据模型来定义业务实体、统一服务层和采用身份验证与授权形式的安全实现，以此来解决这个问题。有一个新概念叫数据湖(DataLake)，它需要将数据存储为生产者和消费者之间预先协定的模式。

传统上，分析一直与较小规模数据集相关联，并且在OLAP模式中执行。除非我们能够说服干系人接受大数据的分析优势——实时分析与较大规模数据集并行处理能力，否则我们很难替代现有的分析/BI工具，也很难改进这些工具。一些算法也已经移植到大数据软件包，这是一个令人兴奋的消息。大数据技术将能够利用现有的分析平台——R语言、Python、SAS，并且能够提供统一的分析平台。此外，大数据人才也具备了分析技能，有能力执行描述性、预言性和规范性分析。