盘点2014:大数据现状与国人思维误区_数据分析师

近两年，“大数据”已成为业界和学术界舌尖上的热词，从央视的春运迁徙图到美国奥巴马政府宣布投资2亿美元启动“大数据研究与开发计划;从两会期间的两会大数据到预报旅游热点，“大数据”被人们推到了一个前所未有的高度。但是，在欢呼和激动了数年后，我们更需要认真思考如何利用大数据、如何正确挖掘出大数据的价值。2014年底，我们与Informatica中国区的几位资深技术专家，就大数据的现状、思维、技术和发展等问题进行了深入探讨与剖析。

大数据现状：思路已有，离成功尚远

大数据真正开始做始于去年，通过两年的尝试、积累，思路已有，但离成功还很远。一些国外的大数据案例、大数据故事无非是商务智能(BI)、数据仓库(BW)的改头换面，新瓶装旧酒而已。就如数据仓库一样，建设了近20年才让每个企业真正承认其价值，大数据也不能期望很快就获得成功，需要一个沉淀时间。在Informatica技术专家看来，如果要给个期限，那这个时间至少需要10年。

大数据发展可以用一个波浪式的图来形容，现在还处于第一个峰顶，必须经过低谷再升起，几轮反复。这期间，大家可能会看到许多大数据真实的案例，不管是成功的还是失败的都会给我们启示。只要尝试了就不一定完全失败，就如数据仓库建设，几年前很多报告都显示80%的项目失败，但仔细分析后发现，只是在发展过程当中没有达到预期价值而已。前人淌过的路，后边的人可以少走一些雷区。

大数据应用的必要前提：数据治理

越来越多的行业和企业开始关注数据这一企业核心资产，但对于数据如何治理，如何管控却没有合适的方法体系的产品支撑，大数据就必须以数据治理为基础，没有数据治理谈不上大数据，数据家家都有，但不治理根本用不上，而这些恰恰是Informatica公司的核心竞争力所在。

在纷繁杂乱的大数据面前，没有良好的数据质量，没有更加良好的数据管理策略，用于业务应用的投资将随着应用组合在企业内的增长和扩展而日渐缩水。做大数据，90%的企业走的路子都不可能实现放烟花式的很炫效果，他们首先还是要踏踏实实地解决数据整合、数据质量和主数据管理等问题。Informatica技术专家建议道。

大数据市场：安全先行

在生活中我们常会有这样的经历，浏览新闻网页时跳出的淘宝推荐商品竟然是你想买的东西，在家里休息时会突然接到各种保险推销电话。对于这种司空见惯的信息数据泄露人们似乎习以为常。而当更加隐私、敏感的12306数据的泄露事件，还是让不少人感到十分后怕。进入大数据时代后，数据将更加透明，数据信息安全的挑战变得越来越严峻。

近两年，国家政府着重强调信息安全，企业都非常关注数据安全问题。敏感的个人、财务和健康信息受到多种不同行业和政府数据隐私法规的管制，如果企业无法保持数据隐私，他们就会面临严重的财务和法律惩罚，同时还会在客户与市场信心方面蒙受可观损失。

我们了解到，2014年，Informatica数据安全方案因满足市场热点需求而成为业务增长较快的单元。大数据的发展还有许多亟待解决的难题，但无疑解决大家最担心的数据安全问题应当是重中之重。

大数据思维：允许数据的不精确性

以前，由于可获得的数据量比较小，为此我们必须尽量准确的记录下所获得的所有数据，做出个KPI供领导参考，采样过程的精确度被放在重要的地位。显然，这种对精确性的执着是信息缺乏时代的产物。大数据时代，数据的收集问题不再成为困扰，采集全量的数据成为现实，但海量数据的涌现一定会增加数据的混乱性且造成结果的不准确性，如果仍执迷精确性，那么将无法应对这个新的时代。

大数据通常都用概率说话，且大数据处理之前是可以对之进行清洗从而减少部分的错误数据。所以，与致力于避免错误相比，对错误的包容将会带给我们更多信息。其实，允许数据的混杂性和容许结果的不精确性才是我们拥抱大数据的正确态度，只要做到10%准确结果，能够达成业务数十倍的增长即可，这是真正的大数据思维，未来我们应当习惯这种思维。

大数据思维：大数据不是单纯的技术问题

大数据不是一个纯技术问题，会包含很多管理、业务方面的内容。并不是说，购买了一套数据挖掘工具，组建了一个Hadoop环境，就能称为做了大数据。除了设备、技术上的投资，企业还需要从组织结构、人员意识、管理方式、企业文化等方面都有一个转变。大数据的前期准备工作很多，这是一种思维上的全面变革。大家都是摸着石头过河，走一步想一想，然后再走一步再想，直到最后成功上岸。

在这样的一个过程当中，人们的思想还要跟随大数据技术的发展不断更新，同时也要对一些过去的想法进行纠正和改变。当然，这个时间不会像以前数据仓库那样花费20年，大数据可能会缩短一半时间。因为数据仓库时代是从无到有，而大数据时代是从有到更好，人们已经从建设数据仓库中积累了很多的经验、技术、教训，甚至有效的管理方法，可以很好地借鉴。

大数据思维：大数据技术解决的不仅仅是非结构化数据问题

新兴的大数据技术提供了非常有效的手段，让人们可以花很低的代价去分析、处理非结构化的数据，但是这些非结构化数据有一个特点，就是密度还很低，它远不如结构化数据有非常高的价值密度，可能100G的非结构化数据，最终有效的才1G。这表明，非结构化数据是对数据完整度的很大补充，但是并不能说大数据就是做非结构化数据，其实最终的目的还是要发掘数据价值。另外一方面，传统的数据仓库已经能够完成现有结构化数据90%的利用程度，在这种背景下，人们才会把大数据的焦点放在对非结构化的处理上。

当前，非结构化数据大量产生，如机器日志、传感器的数据、社交媒体的数据，都是以非结构化形式存在，而传统的方式对这些数据的处理能力比较欠缺。如果用木桶效应来比喻，首先要把这个短板补上，与结构化数据处理的效率和能力齐平之后，更多的就是围绕数据如何使用来进行更深一步的研究。还要认识到一点，大数据技术能够处理半结构化、非结构化的数据，不过，这些数据总是要转换成结构化的数据才能分析，算法可能输入的是非结构化的，如视频信息，但是刚进来不到10秒就变成结构化，最后显示出来的还是表格式结构化的结果。