大数据挖掘:数据模型多了，应该怎么管

没有数据分析和建模能力，肯定难以提升业务；然而，如果模型泛滥、没有得到有效的统筹管理，其提升度恐怕也非常有限，还可能制造各种混乱。为了解决这样的问题，“模型工厂”的概念已经诞生，帮你解决模型冗杂的困境。

随着近年来大数据挖掘概念的兴起，数据分析建模的思想已经深入人心，于是会建模、能建模的人也就越来越多。他们可能是资深大拿，分析建模、结果解读手到擒来全搞定，但也可能是专业的“调包侠”，分析工具包拿来就用，有效没效有个结果再说。总之，在各路专家光临之后，企业中的模型越来越多，接下来我们会面临什么情况呢？

销售经理拿着数据专家小王新跑出来的营销名单开始犯愁，模型新上线时效果确实不错，营销成功率大幅提升，但6个月过去了，营销名单的质量有所下滑，销售人员也开始质疑，销售经理拿着名单去找小王，小王说这是数据挖掘模型出来的结果，不会有错的……

技术部门的小李最近有点叫苦不迭，小王做精准营销模型催着要提数，小赵做客户流失预警模型也催着要提数，连公司前台小周也在要员工数据分析哪个星座的爱加班，总之公司的各路人马都在找技术部门要数，小李本来数据运行压力就大这下更忙不过来了，他也搞不清楚怎么一下冒出来这么多挖掘请求……

公司领导老吴眼看着公司业绩在数据分析的帮助下节节上升，心情大好。他想要了解目前公司到底做了多少模型，不调查不知道，一调查就犯了难。各个部门都在分别做模型，营销部门、风险部门、营运部门都在做，有些模型部署在公司系统上，有些模型部门在部门内部。这些模型中有些是重复的，浪费了公司大量的计算资源；有些模型已经跑了两年多没人管了，当初负责的人已经离职了，目前这个模型谁也说不清楚，当初建模的文档也早已不知道丢到哪儿了。当然也有很多模型存在个人电脑里……

以上问题总结下来，就是模型管理混乱，缺乏完整的模型管理流程和制度，造成了不能及时满足业务部门的需求；数据管理混乱，模型数据不能共享；模型文档管理混乱，不能满足管理或监管的要求。

因此，变革的时候又来了！进入大数据时代，变革就是来得这么措不及防。模型工厂已经诞生，通俗讲就是生产模型的工厂，在银行业也把它叫为“模型实验室”，它的建设包括管理规范、运营团队、数据基础、分析模型、系统平台五大部分。它的范围可大可小，可以是企业层面，也可以部门层面，总之，它的诞生就是为了保障模型管理的效率与质量。

管理规范：包括工作流程、数据质量管理、权限管理、知识管理等。标准化工作流程与模板，保证模型的全生命周期管理。以下是完整的模型全生命周期管理流程，不只是到模型上线部署就结束了，后续的模型持续监控、验证也是必不可少的，一个预测能力下降的模型可能会给决策工作带来负面影响。

模型监控是指对模型自变量的监控，需要与建模时的数据进行对比分析，去看看变量的结构是否稳定，是否与当初建模时已经发生了变化，常用的统计指标有变量稳定性指数，转移矩阵及SVD等。

模型验证是指对模型预测准确性的判断，常用的验证指标模型稳定性指数、KS统计量、CAP曲线和AR值、IV值、二项检验与卡方检验等。

冠军模型和挑战模型是对模型效果的一个辅助监控手段。模型版本记录了模型演变历史，历史模型也是重要的模型资产。

知识管理是指对模型建设过程中的经验总结和知识积累，在模型开发运维过程中需要做好文档管理工作，常用的分析方法、工具、代码都可以进入知识库，有助于技能传承和人才培养。

运营团队：模型工厂的角色通常至少需要包括业务分析、数据管理、模型开发和模型验证四个角色。四个角色有不同的技能要求，承担不同的工作职责，需要分别制订不同的职业发展路径。在银行业，银监会要求模型开发和模型验证必须由不同的团队来执行。

数据基础：模型工厂的数据基础一般是数据仓库或数据集市，也可以直接来自于前端业务系统。历史数据的长短、品质和覆盖面决定了模型好坏与估算的精确度。数据基础的建设需要分目标、分主题，同时需要尽可能考虑公共数据的建设，最大化数据成果的共享。为不同角色的用户开放不同的数据权限，建立数据管控机制，防止数据滥用，同时发挥前台人员主观能动性，避免给数据部门带来压力。

分析模型：综合考虑企业的战略目标、行业热点、风险导向、监管要求，制定企业的模型应用体系，然后以见效的速度和需求的紧迫性两个角度来决定模型开发的路径。针对同一个建模需求，可能可以建立不同的模型，冠军模型和挑战模型并存。在建模过程中注重建模数据的有效性，建模过程的科学性，模型结果的可解释性。

系统平台：系统平台是模型工厂的技术支撑，需要软硬件的有效结合。系统平台需要包括以下功能：数据管理、分析建模、报表展现、模型管理、权限管理、流程管理、文档管理，除此之外还需要支持复杂算法开发、数据可视化开发、移动端处理等个性化要求。建设系统平台需要长远规划，建设过程中需要综合考虑易用性、稳定性、可扩展性等。

在大数据分析如火如荼的今天，做好一个模型并不难，难的是通过模型提高企业的综合管理水平。在您的企业中或许已经多少有了模型工厂的影子，但稍微哪点做得不好，就容易遇上本文开篇的那些问题，希望本文能给您带来启发与帮助。