大数据时代,“数”谁靠谱

过去几年内，我们见证了互联网从“数据”到“大数据”的量的转变。作为拥有数据生产者和使用者双重身份的企业，正面临着时代变革所带来的各方面的挑战，无论是大公司还是小公司，或所处什么行业领域，企业所面临的困境越来越相似。

企业对于自己的信息知之多少？

这些数据来自何方？

如何应对爆炸式增长的数据量？

这些数据是否安全可靠？

如何使庞大繁杂的数据变得易于管理？

……

可见随着 “数字化转型”进程的推进，企业对数据的要求也随之提升，从“量”变逐渐往“质”变的方向发展。“可信任数据”（Trusted Data）将成为企业竞相争取的下一座金矿。

其实数据就如原油，只有经过提炼才能发挥无尽的潜能，“可信任的数据”即经过提炼后的石油，那么究竟何为“可信任数据”？从字面上理解，它主要有两层意思：

其一，数据完整、准确。大数据并非只是指其数据量之大，更体现在其所蕴含的价值之大。通过保证数据的完整和准确，使数据的价值得到体现，数据完整、准确是“可信任”的根基。

其二，可值得信赖。数据质量是确定决策所使用的数据是否可靠的一个基本考量因素。“可信任的数据”整合来自任何来源的可信数据，将其组合成有意义、有价值的信息，这样的数据是值得依赖的。

高质量的数据是大数据发挥效能的前提和基础，企业获取“可信任数据”，势如夺金。而通过强大的大数据分析技术是获取“可信任数据”发挥大数据价值的重要手段。想必这时候你就会问，如何获得“可信赖数据”呢？作为数据管理和分析领域的强手，IBM给出了数据收集，集成到管理整个生命周期的解决方案，帮助企业从海量数据中获得洞察，助力科学决策。

数据提质必经站——Information Analyzer

企业经常碰到几个数据质量问题，如：数据不完整，数据不一致，数据逻辑错误，数据有错误等。要想获得高质量的“可信任数据”，则必须规避这些问题。IBM Information Analyzer就很好的解决了这些问题，它就像是一个提质站，提供了数据质量评估、数据质量监控和数据规则设计与分析功能，帮助企业降低错误信息所带来的风险，保证“可信任数据”顺利交付。

通过 IBM InfoSphere InformationAnalyzer 软件工具实现对数据进行全面分析，包括技术层面和业务层面，体现如下：

标准评估：为企业数据源的结构、内容和质量建立一个全面、整体的认知。

数据规则：通过定制并不断地调整自定义数据质量规则来对数据进行更深入的质量验证，趋势预测和模式分析。

报告指标：通过对分析结果的鉴别、评估以及异常管理来限制数据质量的恶化，从而降低风险。

数据集成利器——DataStage +CDC

相信很多企业都有这么一个感觉，虽然大数据为企业机构在做商业决策等方面提供了强大的支持，但与此同时，错综复杂的数据本身对企业就是一个挑战。如何将大量的结构化和非结构化数据转化成“可信任数据”是企业所急需的，IBM拥有DataStage和ChangeDataCapture（CDC）等多种数据集成解决方案正是为解决这些问题而生。通过将不同来源的数据组合成有意义、有价值的信息，帮助企业理解、清理、监视、转换和提供数据，确保信息的可信度和一致性，并对数据进行实时监管。

（InfoSphereCDC产品的关键组件）

作为数据集成的两大利器，DataStage和CDC相辅相成，却又各有所长。IBM CDC是一种准确而高效的数据复制工具，可以帮助企业轻松地获取业务生产系统的增量数据；而DataStage 则是企业数据集成领域另一个专业而强大的ETL工具，拥有多处理器硬件平台的并行处理能力和可扩展的功能，可以高效批量处理海量数据。当CDC与DataStage“双剑合璧”时，就能实现快速地把业务增量数据，实时地按业务规则进行数据转换和集成处理，把最终处理结果更新到目标的分析系统中。

（IBM DataStageETL解决方案系统架构图）

IBM DataStage 和CDC等数据集成方案适用于各个领域，尤其是银行、保险、大型制造业等行业领域。例如，华为借助DataStage ETL解决方案打通了各个业务之间的“信息孤岛”的问题；中国建设银行在建设海外开发中心的过程中，通过CDC使海外分行和北京中心建立了实时双向数据同步功能。

我的数据我做主——InfoSphere MDM

科学的决策一定是基于准确可靠的数据得出的，而想要获得“可信赖数据”，企业就需要拥有一套适合自己的数据监管方案。无论是银行、制造业、零售商或政府机构，都拥有自己的核心数据，即我们常说的主数据，一套强大的主数据管理可帮助企业创造出巨大的商业价值。IBM MDM为企业提供基于SOA 开放标准的主数据管理，可扩展的功能架构，和灵活地进行客户化定制主数据的管理方案，为所有业务部门提供及时、准确的主数据业务视图。MDM主要有三种部署方式：协作型、操作型和关联数据管理，企业可根据自身属性选择使用。

由于缺乏全局意识，很多企业所采用的应用程序只是为支持某个业务领域的运营过程而设计的，它们拥有自己的信息技术设施，包括与应用相关的数据存储和定义，其结果就是导致同步数据变得十分复杂，维护难度不减反增，数据质量很难确保。通过集信息集成、管理和共享于一身的IBM MDM，可很好的解决这些问题，5个步骤就能达到简化结构，降低成本，改进数据监管等目标：

1.    建模：用灵活的数据模型定义任意类型的主数据

2.    识别：快速匹配和准确识别重复项目

3.    解决：合并以创建可靠、唯一的真实来源

4.    联系：揭示各类主数据之间的关系

5.    治理：创建、使用、管理和监控主数据

大数据时代，企业的战略一定是从“业务驱动”转向“数据驱动”。未来有价值的公司，一定是数据驱动的公司。在这样的时代背景下，参差不齐的数据时刻困扰着企业业务发展之路，唯有从数据的源头到管理全过程确保数据的准确可靠，才能保障企业有效地挖掘隐藏在大数据中的信息，为“我”所用。因此在大数据时代，“数”谁靠谱？相信你看完文章心里已经有了答案。