大数据：人类历史向前的车轮_数据分析师

　   有人说大数据是大“忽悠”，有人说大数据没商业模式，凡此种种都反映出一个问题——大数据落地难。但就此否定大数据，无疑又走到了一个极端。可以把大数据理解为最初的蒸汽机，初期不是也有人驾马车一教高低吗？大数据也是如此!

　　传统数据挖掘和应用

　　从业务开始应用IT之日起，人们就没有停止过对数据的挖掘和利用。人们总是希望透过一定的技术方法，透视数据背后所隐藏的秘密。

　　在传统数据挖掘应用中，OLTP(On-Line Transaction Processing，联机事务处理系统)和OLAP(On-Line Analytical Processing，联机分析处理)是用户最为熟悉的技术应用。

　　OLTP也称为面向交易的处理系统，它可以即时地处理输入的数据，及时地回答，因此也称为实时系统(Real time System)， OLTP通常是由数据库引擎负责完成的，其所处理的数据也被称为结构化数据。

　　OLAP主要用于多个角度、维度分析数据，多用于数据挖掘，为企业决策者提供分析依据。OLAP以数据仓库技术为基础，无论是报表、统计，还是客户数据分群、客户价值分析，以及类似逃税、漏税等数据挖据应用，辅助决策和人工智能的技术应用，历来备受用户重视。

　　OLAP数据主要来源于数据仓库、数据集市以及ODS(Operational Data Store，操作型数据存储)。在建模过程中，鉴于数据规格的差异，其数据很难被直接使用，需要经过抽取、清洗、转换和装载的复杂处理过程，所谓ETL(Extraction-Transformation-Loading)。此外，还要通过EAI(Enterprise Application Integration，企业应用集成)将进程、软件、标准和硬件联合起来，以追求对数据价值的分析和挖掘。

　　“啤酒和尿布”的故事历来被视为传统数据挖据应用的典范。但对于用户来说，无论是Informatica的Power Center、IBM的DataStage、Teradata的Automation，还是Oracle的ODM，这些专属ETL工具，无论对用户专业技能水准的要求，还是对使用成本都有非常高的要求，因此难以大范围推广应用。其应用也主要集中在在价值密度高的数据，所谓结构化数据。

　　大数据价值和路径

　　如今，大数据也是如此，根据IDC调查显示，“提高竞争优势”、“削减成本”和“提高客户忠诚度”是用户对于大数据分析的期待。

　　谈到大数据，很多人知道大数据具有4个V的特点，即Volume、Variety、Value、Velocity，其中，价值密度低(Value)的特点，就注定了没有办法用传统OLAP方法进行大数据处理。

　　但价值密度低并不意味着数据价值低。众所周知，奥巴马竞选总统，大数据功不可没。大数据带给人们无限的遐想。不要小看Facebook、微博、微信等社交媒体的一个“顶”或“赞”，尽管从个体来讲，其传递的信息价值有限，但从群体高度进行审视，结果将大大不同。

　　小到总统选举，商业预测，大到一个民族、国家的走势未来，商业经济发展，都有会留有自己的数据印迹，无论多么隐秘的事情，都会留有蛛丝马迹，关键在于缺少能够抓住线索的眼睛。

　　大数据不仅需要思考问题的方法，也需要可以挖掘、探索数据的平台和工具。鉴于传统OLAP的局限，NoSQL和列式数据库技术应运而生。

　　NoSQL现在更多集中在Hadoop。如果用户技术能力足够强，完全可以驾驭，包括现在的Spark、Cassandra都可以用。其中，Spark是云计算和大数据的集大成者，也是Hadoop的取代者，属于第二代云计算大数据技术，作为一个基于内存计算的云计算大数据平台，在实时流处理、交互式查询、机器学习、图像处理、数据统计分析等方面具有无可比拟的优势。而Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，集Google BigTable数据模型和Amazon Dynamo于一身，于2008年被Facebook开源，已经是一种流行的分布式结构化数据存储方案。

　　列式数据库技术介于传统关系型数据库和NoSQL数据库之间，Vertica、Greenplum、GBase是国内外几大代表厂商，其中，Vertica、Greenplum已经分别为惠普和EMC公司所并购。从技术特点看，列式数据库主要适合于批量数据处理和即席查询等应用。

　　对于大数据应用而言，列式数据库堪称承上启下，可以分别与NoSQL和关系型数据库搭档，应用在大数据处理和应用。

　　英特尔至强和大数据先行者们

　　大数据真正开始落地，始于互联网行业。以Google为代表，他们以x86服务器作为基础硬件平台，在其上构建了以NoSQL为核心的数据存储和处理方式，对外提供各种基于大数据分析和处理的服务，开创了大数据服务的先河。

　　目前没有人能够准确说出Google有多少台服务器，有人说100万台，也有消息称高达1000万台服务器。这是一个相当惊人的数量。根据相关统计显示，目前全球每年服务器的销量不过120万台。因此，大数据对于计算能力的需求高的惊人。

　　大数据具有海量、价值密度低的特征。因此，对于掌握大数据的互联网公司而言，如何按照其应用场景及需求对，对如此海量数据进行处理、分析，才是至关重要的。而他们也对于底层基础设施提出了更高的要求。，除了处理能力之外，成本是一个必须考量的因素开放的平台以及超高的性价比也是必须考量的因素。而这恰恰是x86通用标准服务器专长，与RISC处理器相比，英特尔处理器性价比优势明显，这就为为大数据奠定了物质基础。以最新英特尔至强E5-2600 v3 产品为例，借助每路处理器多达18个计算内核及 45MB 末级高速缓存以及高级矢量扩展指令集扩展(英特尔 AVX2)，可将性能提升达1.9倍。E5-2600 v3可让每台服务器运行的虚拟机数量增加70%，借助新一代DDR4内存的支持，可让其性能提升达1.4 倍。

　　与之相比，如果采用RISC处理大数据，其成本将难以支撑。很难想象Google用100万台RISC服务器处理数据，不要说100万台，1万台都不是Google可以承受的。随着大数据时代的来临，英特尔也敏锐洞察到了大数据市场的需求和发展，在硬件与软件层面对用户进行全面的大数据技术支持为此，英特尔推出了Hadoop分发版，从技术给用户以支持。

　　今年5月，英特尔注资大数据领导厂商Cloudera，其7.4亿美元投入是英特尔在数据中心领域最大单笔资金投入。对此，英特尔(中国)行业合作与解决方案部中国区总监凌琦表示：英特尔对于Cloudera的扶植，并不是扶植一家厂商，而是扶植一个市场。

　　小结

　　目前大数据应用已经不局限在互联网企业，而是开始向传统行业/企业市场蔓延，以x86服务器为基础，无论是Vertica、Greenplum、GBase等列式数据库，还是Cloudera等Hadoop分布式数据库管理和开发工具，大数据服务提供商，如Splunk、Acitan、SAS、Tibco，从硬件、软件平台到大数据分析、应用和展示，一个完整的产业生态链已经比较成熟，未来值得期待。

　　毫无疑问，我们正处于一个数据爆炸的时代，移动互联网、社交媒体的发达，为行业/企业研究消费者提供了充足的数据，如何驾驭好大数据，将关系到企业的业务创新。可以说，生长在当下这样的一个时代，企业与用户从没有今日如此之接近，因此大数据堪称未来行业/企业的胜负手。

　　未来的市场不再是看不见，摸不着的市场，大数据能力的强与弱，既有可能成为企业、社会乃至一个国家、民族的分水岭，人类文明将迎来前所未有的高速成长，历史的车轮将会提速，滚滚向前!