大数据为生命周期管理带来挑战

无论数据的规模和类型是什么，它们必须要在生命周期中接受管理，即便管理工具并不成熟也必须如此。
    伴随着大数据的出现，整合的生命周期管理（Integrated Lifecycle Management，简称为ILM）遇到了一个全新的领域。核心挑战来自三个方面：首先大数据的规模没有上限，其次许多新数据的生命周期都极为短暂，再次由于数据或多或少具有大数据的3V特征（数据规模大、处理速度快和数据种类繁多）因而难以保持始终如一的品质。
    以上这些是我从Loraine Lawson所写的文章中总结出来的。她的观点与我对这一问题的总体看法基本一致。但是我并不认同她关于“与小型数据分析环境相比，ILM对于大数据环境来说更为重要”的说法。无论是以前，还是进入到了大数据时代，让所有的商业数据资产处于安全、可控和受管理的状态都同等重要，它们之间的重要性没有发生丝毫的改变。
    它们之间的不同之处在于，在大数据环境中，由于以下几个方面正在迅速发生变化，使得全面的ILM越来越难以确保数据资产处于安全、可控和受管理的状态之下。
    ■新的大数据平台：除了MPP 关系型数据库系统、纵列数据库、多维数据库外， Hadoop、NoSQL、内存数据库、图形数据库等新的技术平台逐渐在企业计算环境中发挥越来越重要的作用。现有的ILM工具几乎不可能支持这些新的平台。同时，为了能够在公有云上处理大数据，你可能需要使用由服务提供商提供的ILM功能。为了降低在新环境中的风险，以及维护核心数据的高度可信性，你需要仔细测试新的大数据平台，以确保它们具备ILM功能（数据安全、管理、归档和保留），以及这些功能是否与你计划赋予它们的角色相对应。
    ■新的大数据主题域：大数据并没有改变企业对存储和管理办公系统（例如客户、财务和人力资源等）记录的数据管理枢纽的需求。这些是现有企业级数据仓库（EDW）的功能。目前大部分EDW是运行在传统的基于关系型数据库系统的数据平台上，并集成有功能强大的ILM。不过，这些记录数据域系统可能无法在最新的大数据平台上运行，因为许多平台已经将重点放在了处理由社交、事件、传感器、点击流、地理空间，以及其他新来源所产生的新数据之上。然而，这些新的数据域通常生命周期都非常短。从这个意义上说，我们可能不需要将其中的大部分数据保存在永久性记录系统中。
    ■新的大数据扩展：大数据并不意味着你的新平台能够支持无限大的容量、极高的速度或无数的数据种类。由于受到技术上和经济上的束缚，新数据的庞大规模导致它们不可能被随意存储在任何地方。这一现实将迫使大数据管理人员将更多的精力放在调整多温度存储管理、归档和保留策略上。随着大数据环境的扩展，你需要确保ILM需求不超过现有容量（存储容量）、速度（带宽、管理器和存储速度）和类型（元数据深度）所能支持的范围。
    此外，我还与一些专家进行了探讨。这些专家认为，除非我们真的想删除数据，否则大数据革命可使我们无需删除任何数据。目前大数据看起来似乎将持续以指数级速度增长，并且大数据平台的成本似乎也将持续大幅下降，但是我对大数据云的执行和管理将跌至接近零成本的观点存在严重怀疑。
    如果我的预感正确，那么我们将无法阻止大数据源源不断的涌到云上——即便我们想阻止也无能为力。幸运的是，生命周期管理能够为无用数据划上一个终点，而这正是我们将ILM摆在需求第一位的关键原因。