大数据还处于探索期_数据分析师考试

大数据市场还在持续升温。但是在人们为大数据时代的到来欢呼雀跃的同时，又有谁能真正说得清如何更好地利用大数据，并正确挖掘出其大数据的价值呢?

数据隐私与数据开放

如今，信息安全已经被提升到国家战略的层面。在IT领域，政府强调自主、可控创新，其中一个很重要的原因就是为了保证信息的安全。在面对云计算、大数据的浪潮时，企业都更加关注数据的安全、隐私问题。

敏感的个人身份、财务和健康信息正受到越来越多来自不同行业和政府的数据隐私法规的保护。如果一个企业无法保护数据隐私，不仅会面临严重的财务和法律惩罚，同时也会令客户和市场对这家企业的信心受损。在这种情况下，数据脱敏技术应运而生，并且在最近两年被越来越多的企业用户所采用。Informatica在数据读取和使用两方面，使用动态或静态的数据脱敏手段来保证数据的隐私，在保存数据原始特征的同时改变它的数值，从而保护敏感数据免于未经授权的访问，同时又可以让具有权限的人进行相关的数据处理。

2014年，Informatica的数据安全方案成为增长较快的业务之一。除了安全解决方案以外，另一类市场需求较大的方案是数据归档类方案。经过多年的发展，大多数企业都积累了海量的历史数据，对这些数据进行存档，不仅可以更长久、安全地保护数据，而且可以有效地降低数据保护的成本。Informatica提供了一系列运算、存储等方面的新技术，能够对历史数据进行归档、留存和分析，从而实现全生命周期数据的管理。

在强调数据隐私、数据安全的同时，我们也注意到各行各业对数据公开的呼声越来越高涨。大数据只有得到充分的共享才能真正发挥其应有的价值。

在今年的“两会”期间，来自IT界的全国人大代表、政协委员都谈到了政府数据公开的问题，甚至为此提出了积极的建议。腾讯公司董事会主席兼首席执行官马化腾在参加广东代表团全体会议时就表示，为了更好地推动互联网与其他产业的融合，政府应该研究制定公共数据开放战略，将政府公共信息与数据向全社会开放，从而打破行业的信息孤岛，确保社会公众能及时获取与使用公共信息，并逐步建立数据安全保护体系和数据开发利用的标准，确保数据的有效使用和相关方权益。

神州数码控股有限公司董事局主席郭为也认为，当前，大数据应用落地的关键不仅在于相关的技术，更在于资源的流通，即让具有数据挖掘能力的一方可以方便地找到足够大的数据库去挖掘和分析。

现在，世界主要发达国家都非常重视政府数据开放，并制定了严格的规范或计划。比如，2009年，美国提出了“开放政府计划”，并设立政府数据开放门户网站依托公众力量对政府所持有的数据进行加工利用。全国人大代表、浪潮集团董事长兼CEO孙丕恕在“两会”期间提出了“推动政府数据开放工作”的建议，主要内容包括：加快政府开放数据的步伐，进行统筹规划;出台指导意见和行动规划，大力推动政府开放数据标准的制定工作;鼓励社会化力量广泛参与政府数据开放。

Informatica的技术专家表示，欢迎政府和相关企业开放数据。不过，因为各家的利益不同，数据不可能无条件地开放，毕竟还有数据的安全、数据利益的分配等实际问题要考虑。现在，国内有一些行业，比如移动广告业，已经在考虑建立行业内的数据共享平台。

不是工具是平台

提到大数据，你首先会想到什么?大数据分析工具，还是那些“高高在上”的数据科学家?Informatica公司大中国区首席产品顾问但彬表示，大数据时代最缺少的就是能够有效掌握并分析数据的人。这些人不仅包括高端的数据分析专家，也包括能够有效地获取和利用数据价值的普通的企业业务人员。不过，大数据工具通常是复杂和难以掌握的。Informatica的一项使命就是如何让大数据分析变得更容易。Informatica IDP(Intelligent Data Platform)智能数据集成平台可以让企业的业务部门真正成为数据价值的受益者。

Informatica IDP并不仅仅是一个IT工具，而更像是一个平台，包括数据自助式服务、数据的虚拟化等。互联网企业通常会强调细节和微创新，把产品的某一项功能做到极致，借此牢牢吸引大量用户。但是企业级厂商则不同，它们更倾向于将产品平台化。平台化的好处是可以把尽量多的功能集成在一起，方便部署与管理，而且可以借平台屏蔽底层架构的复杂性。软件厂商尤喜平台化，数据保护厂商有数据保护和统一管理平台，大数据产品厂商有大数据处理通用平台等。

Informatica IDP就是一个集成化的平台，它通过丰富的技术手段将各种各样的数据呈现到最终用户面前，让它们可以自由地使用、浏览和分析各类数据，甚至可以亲身参与数据的操作过程。Informatica IDP直接面向企业的业务部门，将人员、位置、事物以更加智能的方式紧密相连，业务人员可以根据自己的需求，自助式地获得所要的数据。

Informatica IDP包含三大技术核心：第一，Informatica Vibe虚拟数据机。Vibe是一种嵌入式的数据处理引擎，可以提供针对任何位置、格式或来源的数据的普遍的访问能力，且支持客户“一次映射，多次部署”。第二，数据基础设施。数据基础设施层能够在任何规模的环境中系统、连续地交付干净、安全、互连的数据，从部门级到企业级，从事务数据到大数据，从内部部署到云端皆可。第三，数据智能。Informatica独创的数据智能层将为客户重新定位数据基础设施层所创建的元数据，从而提高数据的可见性，改善决策过程，并提升运营的智能化水平。Informatica IDP代表了Informatica对大数据处理的一种构想和框架，具体的产品落地还需要一段时间。

大数据也像云计算一样，正进入落地的阶段。大数据与企业的业务需求紧密相关。因此，大数据不仅仅是一个技术问题，而是包含很多管理、业务方面的内容。企业只要购买了一套高端的数据挖掘工具，或者构建了一个Hadoop平台，就意味完成了大数据的任务吗?当然不是。因为除了设备、技术上的投资以外，企业还需要从组织结构、人员意识、管理方式、企业文化等多方面实现彻底的转变。大数据意味着一种思维上的全面变革。实施大数据项目前，企业还需要做很多准备工作，包括人才、技术、工具等。在大数据方面，所有企业都是摸着石头过河，走一步想一想，直到最后成功到达彼岸。

随着大数据技术的发展，人在不断更新管理思维的同时，也要对过去的一些想法、做法进行修正和改变。但彬认为，实现这一转变的过程，不会像以前人们接受数据仓库那样需要花费20年时间，人们接受大数据的时间可能会缩短一半。因为在数据仓库时代，数据仓库是从无到有，而大数据则是从有到更好。企业已经在建设数据仓库的过程中积累了丰富的技术、经验、有效的管理方式，甚至是教训，这些方法和经验都值得大数据项目借鉴。

但彬认为，大数据真正落地是从2014年才开始的。通过一些摸索、尝试和积累，企业已经有了大数据落地的基本思路，但距大数据的成功应用还有很长的路要走。现在，我们经常看到的一些所谓的大数据的成功案例，很多是基于传统的商务智能(BI)、数据仓库(BW)改头换面而来，或是新瓶装旧酒而已。以数据仓库的应用为例，大约经过将近20年，企业才真正认同了其价值。“我们不能期望大数据短期内就能获得巨大成功。大数据被企业接受还需要一段时间，更需要慢慢沉淀和积累。”但彬表示。

大数据的发展是波浪式前进的。目前，大数据的发展正处于第一个峰顶，还要经过几轮波峰波谷，才能让企业真正认识到大数据的价值。现在，我们看到的一些真实的大数据案例，不论是成功的还是失败的，都会给我们启示。“其实，尝试就是一个良好的开端。只有经过不过尝试、摸索，才能慢慢接近大数据的最终目标。头几年的报告显示，企业的数据仓库建设，大约80%的项目都以失败告终。但仔细分析后发现，这些项目并不是失败，而是在发展过程当中没有实现预期的价值而已。随着经验的慢慢积累，大数据的应用会越来越广泛。”但彬表示。