五分钟快速了解大数据及其必备技能

当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。虽然大数据潮流在默默的推进各种变革，但您真的了解大数据么？

大数据定义

一般而言，大数据是指数量庞大而复杂，传统的数据处理产品无法在合理的时间内捕获、管理和处理的数据集合。

这些大数据集可以包括结构化、非结构化和半结构化数据，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

究竟有多少数据才能实构成“大”数据呢？这也是有争议的，大数据的大小经常改变，截至2012年，单一数据集的大小从数太字节（TB）至数十兆亿字节（PB）不等。

大数据通常以三个V来表征：

＊ 数据量的大小（volume）

＊ 数据类型的多样性（Variety）

＊ 数据处理和分析的速度（Velocity）

构成大数据存储的数据可以来自包括网站、社交媒体、桌面和移动应用、科学实验以及物联网（IoT）中越来越多的传感器和其他设备。

大数据概念包含了一组相关的组件，使企业能够将数据实际使用并解决一些业务问题。其中包括支持大数据所需的IT基础架构、分析应用于数据、大数据项目所需的技术、相关技能组合、以及对大数据有意义的实际使用案例。

大数据和分析

应用于数据的分析才是真正能够从大数据集合中获得价值的所在。没有分析，大数据集合也只是一堆有限的商业数据。

通过对大数据进行分析，企业可以从分析结果中得出诸如增加销售额、改善客户服务、提高效率等结论，全面提升企业竞争力。数据分析包括检查数据集，以获得对其所包含内容得出的结论，例如关于未来活动的趋势和预测。通过分析数据，企业可以做出更明智的业务决策，例如该在何时何地进行营销活动等。

分析可以参考基本的商业智能应用程序或更高级的预测性分析，例如科学组织使用的分析。在最先进的数据分析类型中，数据挖掘是分析师评估大型数据集以识别关系的一种方式。

数据分析可以包括探索性数据分析（识别数据中的模式和关系）和验证性数据分析（应用统计技术来确定关于特定数据集的假设是否属实）。另一个区分是定量数据分析（或数字数据分析，其中有可量化的变量，可以进行统计比较）与定性数据分析（侧重于非数字数据、如视频、图像和文本）。

IT基础架构来支持大数据

为了能让大数据概念发挥作用，企业需要有适当的基础设施来收集和存储数据，提供对数据的访问，并在存储和传输过程中保护信息。在高层次上，这其中包括为大数据、数据管理和集成软件、商业智能和数据分析软件以及大数据应用设计的存储系统和服务器。

由于公司希望继续利用数据中心投资，因此大部分基础架构可能都是内部部署的。但越来越多的企业依靠云计算服务来处理大部分大数据需求。

数据收集这一过程需要数据源。网络应用程序、社交媒体渠道、移动应用程序和电子邮件档案已经到位，但随着物联网逐渐成熟，企业可能需要在各种设备、车辆和产品上部署传感器来收集数据，以及生成用户数据的新应用程序。

为了存储所有传入的数据，企业需要有适当的数据存储。存储选项包括传统的数据仓库、数据湖和基于云的存储。

安全基础设施工具可能包括数据加密、用户身份验证和其他访问控制、监控系统、防火墙、企业移动管理以及其他保护系统和数据的产品。

大数据的特定技术

一般来说，除了上述用于数据的IT基础设施之外。您的IT基础架构应该支持特定于大数据的几种技术。

1. Hadoop生态系统

Hadoop是与大数据密切相关的技术之一。 Apache Hadoop项目为可扩展的分布式计算开发开源软件。Hadoop软件库是一个框架，可以使用简单的编程模型在整个计算机集群上分布式处理大型数据集。它旨在从单个服务器扩展到数千个服务器，每一个都提供本地计算和存储。该项目包括几个模块：

＊ Hadoop Common，支持其他Hadoop模块的常用工具；

＊ Hadoop分布式文件系统，提供对应用程序数据的高吞吐量访问；

＊ Hadoop YARN，作业调度和集群资源管理的框架；

＊ Hadoop MapReduce，一个基于YARN的并行处理大型数据集的系统。

2. Apache Spark

作为Hadoop生态系统的一部分，Apache Spark是一个开源的集群计算框架，可用作在Hadoop中处理大数据的引擎。 Spark已经成为关键的大数据分布式处理框架之一，并且可以以各种方式进行部署。它为Java、Scala、Python和R编程语言提供本地绑定，并支持SQL、流数据、机器学习和图形处理。

3. 数据湖

数据湖泊是存储库，它以本机格式存储极大量的原始数据。数字化转型举措和物联网的发展促进了数据湖的发展。数据湖的设计是为了方便用户在需要时访问大量的数据。

4. NoSQL数据库

传统的SQL数据库是为可靠的事务和即席查询而设计的，但是它们有严格的架构等限制，这使得它们不太适合某些类型的应用程序。NoSQL数据库解决了这些限制，并以高速运行和高度灵活性的方式存储和管理数据。与SQL数据库不同，许多NoSQL数据库可以在数百或数千台服务器上横向扩展。

5. 内存数据库

内存数据库（IMDB）是一种数据库管理系统，主要依靠主内存来存储数据。内存数据库比磁盘优化数据库要快。

大数据技能

大数据和大数据分析工作都需要特定的技能。这些技能中的很多都与关键的大数据技术组件（如Hadoop、Spark、NoSQL数据库、内存数据库和分析软件）相关。

其他则专门针对数据科学、数据挖掘、统计和定量分析、数据可视化、通用编程以及数据结构和算法等学科，还需要有整体管理技能。鉴于大数据分析项目已经非常普及，却缺乏拥有这些技能的人才，寻找有经验的专业人员可能是企业面临的最大挑战之一。

大数据用例

大数据和分析可以应用于许多业务问题和用例。这里有一些例子：

＊ 客户分析。公司可以检查客户数据以改善客户体验，提高转换率并增加留存率。

＊ 运营分析。提高运营绩效，更好地利用企业资产是许多公司的目标。大数据分析可以帮助企业找到更高效运营和提高绩效的方法。

＊ 预防诈骗。数据分析可帮助组织识别可能指示欺诈行为并有助于降低风险的可疑活动和模式。

＊ 价格优化。公司可以使用大数据分析来优化产品和服务收取的价格，从而帮助提高收入。