大数据的大承诺:今天你想知道什么_数据分析师

在从未停止的对于竞争优势的探索中，许多组织倾向于掌握大量企业本身和外部的数据，来揭示企业未来的发展方向，预测统计数据和采集其他具有可行性的信息，以便帮助企业做出下一步行动的决策。这些数据常常与采集它们的工具、平台、分析系统一起被称为“大数据”(Big Data)。“大数据”业务已经得到大多数技术人员和企业决策者的认同。

　　虽然企业的决策者已经意识到“大数据”中蕴含的价值，但对于大多数企业来说，真正实现其中的价值还难以做到。这时候IT就派上了用场，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进行分析，从而发现重要的趋势信息。换句话讲，IT已经成为“大数据”发挥作用的催化剂。

　　在服务领域，“大数据”的重要性和价值越发明显地得到证明。与美国海洋和大气局(NOAA)、美国宇航局(NASA)这些机构一样，一些制药企业和众多能源企业同样累积了大量的数据信息，现在这些企业想要将这些日常积累下来的数据转化为一种“大数据科技”，希望这些数据能够带来额外的价值。

　　美国海洋和大气局尝试利用大数据业务协助进行对气候、环境、天气的研究和商业性探索，美国宇航局利用大数据业务进行航天和其他领域的探索。制药企业和能源企业则借助大数据业务进行更多实实在在的研发，例如药品实验和地球物理分析。《纽约时报》将“大数据”作为一种工具，进行文本分析和网络开发。迪斯尼公司利用它对店面、主题公园和网络资产中的数据进行分析，研究消费习惯的相关性。

　　在如今的商业活动中，“大数据”扮演着另外一种角色：大企业越来越多地面临对大量结构数据和非结构数据进行维护的问题，这些数据可能来自资料库中员工对于交易信息的报告，也可能是供应商的日常供货信息——总之这些都是政府要求企业在日常运营中需要保留的数据。最近的一些法庭案例更使上述问题凸现出来，使企业不得不保留大量的文件、电子邮件信息和其他电子通讯记录，例如即时信息、IP电话记录等，这些都可以在他们面临诉讼时作为进行电子信息调查的依据。

　　也许累积大数据所面临的最大的挑战就是建立一个可以存储和得到所有实时和未来信息的数据库，并且让这些信息可以在线用于成本效率分析的平台。那就意味着这个平台应该是可升级的。这个平台应该涵盖计算机存储技术、语言查询技术、分析工具、内容分析工具和传输设备，因为IT中囊括了太多变化的、需要有效利用和维护的内容。

　　大数据业务有很多专有的和开放性的资源作为工具，通常情况下，这些资源可以通过启动一个程序获得，也可以通过与提供云技术的公司合作获得，例如亚马逊和谷歌——实际上，云技术不但能够帮助你解决大数据的延展问题，还能解决数据存储和计算能力的问题。不管怎么说，使用大数据业务不必由你亲自“扮演角色”。像IBM和EMC这样的供货商可以提供大数据项目所需的工具，尽管使用这些公司提供的业务成本可能很高，而且难以衡量。

　　Hadoop：大多数大数据业务的重点在开放资源领域，这个领域被称为Hadoop，是Apache软件基金会负责的一个项目，该项目包括谷歌为建立一项强化、联合和易于了解的数据平台而推出的技术。

　　从技术层面讲，Hadoop包括两项关键服务：基于分布式文件系统(HDFS)的可信赖的数据存储服务和建立在一种名为分布式计算系统的技术之上的高传输并行数据处理服务。这些服务旨在提供一个快速、可信的分析基础。在这个基础上，对结构化的和复杂的数据进行分析将成为现实。在许多案例中，企业将Hadoop与他们的IT系统一起使用，这使它们能够将新旧数据整合在一起，并将这些数据组合成新的强有力的资源。Hadoop使企业可以轻易地利用传统的分析方法对复杂的数据进行分析，这些数据包括企业自身的信息和一些问题。

　　Hadoop以一系列软件为基础，提供无共享服务。你可以根据需要在一组软件里增加或者取消Hadoop服务，任何软件供应商所提供的软件都支持硬件或系统问题的系统探测和补偿服务。换句话讲，Hadoop是一个“自愈”软件。无论系统怎样改变或者出现故障，它都能传输数据、完成大容量的系统运行，还能完成高效率的数据处理

　　虽然 Hadoop为数据的存储和并行运行提供了一个平台，但是其真正的价值还在于它的扩展功能、跨专业整合功能和对于传统技术功能的实现。Hadoop还提供一些子功能，这些功能可以使该软件功能性更强，增加软件平台的容量：

　　· Hadoop常规软件：一般用于支持其他Hadoop子项目。

　　· Chukwa: 数据收集系统，用于管理庞大的分支系统。

　　· HBase:可升级的、分布式数据库，支持大容量的结构数据存储。

　　· HDFS:分布式文件系统，该系统为应用程序数据提供高流量服务。

　　· Hive: 提供数据汇总和随机查询的数据库基础结构。

　　· MapReduce: 用于在计算集群下分布处理大数据的软件框架。

　　· Pig: 为实现并行计算而设置的高水平数据流语言和执行框架。

　　· ZooKeeper:为分布式应用提供的高性能内部协调服务。

　　大多数Hadoop平台的实现都至少包括如下一些开发大数据系统所必需的子项目，例如：多数组织都会选择使用HDFS作为主要的文本发散系统，将HBase作为基础数据库来使用，这可以储存数千万组的数据。MapReduce也为用户带来很多益处，它为Hadoop平台提供了必要的速度和便捷。

　　有了分布式计算系统(MapReduce)，软件开发者可以创造能够通过分散群机和独立存在的计算机并行加工处理海量的非结构型数据的程序。分布式计算系统网络可以分解成两个功能区：Map和Reduce。其中，Map是将分散群中的不同的节点打包的函数，Reduce则是对数据进行整理、解析数据并体现其唯一价值的函数。

　　分布式计算系统最重要的优势就是容错性强，该优势靠对分散群中的每个节点进行控制来实现，在这种控制下，每个节点都要阶段性地将一定范围的工作状态实时加以反馈。如果某一节点反馈相关信息的时间超过预期时间，一个主网点就会对这个节点的情况进行记录，并将该节点应该进行的工作重新指定给另外的节点去做。

　　除了许多以开放性资源为依托的工具，例如Clojure和Thrift之外，还存在很多以商业软件为依托的软件工具，尽管许多工具是建立在Hadoop这个平台之上的。普华永道会计师事务所技术与发明中心公布了一份有关大数据业务群块建立的详尽指南，介绍了该业务如何将IT开发和商业用途有机结合。

　　Datameer就是一个例子。该公司提供一个收集和读取不同大数据存储情况的平台，将上述数据放进Hadoop框架之中，然后提供相应的工具对数据进行分析。从根本上讲，Datameer试图隐藏Hadoop软件的复杂性并且在Hadoop软件的基础上提供分析工具。Datameer的优势就在于拥有超过10TB的数据资源。根据Datameer的说法，这种资源量所处的水平正是公司使用传统技术进行数据分析的瓶颈所在。

　　包括Appistry、Cloudera、 Drawn to Scale HQ、 Goto Metrics、Karmasphere和 Talend在内的其他一些从事商业运作的供应商也针对大数据分析业务提供类似的服务。三大主要数据库供应商IBM、微软和甲骨文公司也都支持Hadoop，只不过这些公司采取的形式不同。开放性资源BI的供应商Pentaho也对Hadoop加以支持。

　　大数据业务适用于所有规模的企业。大数据业务并不是只与企业规模有关，还关乎企业的经营情况，但其与企业数据的设置情况无关。该业务与即时分析有关，例如在网上估定一个顾客的习惯，以便更好地了解该顾客需要怎样的帮助与支持，了解其所要寻找的产品，或者描绘出目前天气情况和送货途中以及行程安排的其他条件下可能产生的影响。

　　服务器群、高性能文本系统和并行处理系统就是这样运行的。过去，除了大企业之外，这些技术对于大多数企业来说都太昂贵了。今天，虚拟化和产品硬件已经在很大意义上降低了成本，使大数据业务能够为中小企业所用。

　　对于大数据分析业务，小企业还有另外的途径来实现，这个途径就是云技术。针对大数据业务提供的云服务异军突起，为迅速和高效进行数据分析提供必要的平台和工具。然而，小企业真的需要大数据业务吗？回答是肯定的。其实，所有的企业都需要大数据业务，不管其是否已经认识到。例如，大多数在线企业在其记录文件和点击记录中收集大量数据信息。对于没有类似数据流的企业来说，存储千兆字节而不是兆兆字节，大数据业务能够使其深入了解公共信息数据资源这座宝藏。

　　世界银行在线提供其世界范围内的统计数据，美国国会图书馆自2006年3月起就对Tweiter论坛上的数据进行归档处理。此外，美国国会图书馆还提供大量低成本信息和投资数据服务。大数据技术可被用于对数据资源进行分析，其中就包括你自己拥有的数据，或者将这些数据放在一起进行分析。

　　举个例子，FlightCaster是一家提供航班延误信息预测的公司，它主要根据主要航空公司的航班运行情况进行预测。与航空公司所拥有的类似航班运行情况的专有信息一样，该公司拥有大量国内航班飞行和航班实时运行状况的历史数据。Flightcaster的秘诀就是其对大数据分析的有效利用和使用适当的软件工具对产出数据进行实时管理。

　　随着成本的下降，一些企业想出新的办法来整合数据，大数据分析业务会变得更加平常，也许它还能教企业怎么由小做起，发展壮大。想想谷歌吧，还有雅虎和Fascebook，它们都曾经是名不见经传的小公司，但是他们都有效利地用了自身的数据资源，从中得出了对成长产生深远影响的见解。许多大数据业务的基础正是来自由这些企业的发展得出的启示，这绝非偶然。如今，这些启示已经能够通过Hadoop和其他一些供企业使用的软件工具——正像你的企业所使用的软件工具广泛获得。