实际工作中的数据挖掘流程

数据工作者最长也是有效的一种工作方式是带项目，无论是数据分析还是专项挖掘，项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析（挖掘）流程？

在做本篇介绍之前，有以下几个方向需要做一个界定，这些界定是做本篇的前提：

该项目流程是面向业务层的，直接通过模型做代码优化或者以BI技术为方向的不同；
该项目的领导者是具有一定能力的数据分析师，需要具备业务常识、数据理解能力和专项分析挖掘能力，说白了，能接受问题并且能解决问题；

该项目是以业务落地为导向的，那些面向市场分析方向的战略项目等不在此列。

在以上的界定下，我们放心的来谈本篇的核心，我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析（挖掘）流程包括：需求提报审核、商业理解、数据理解、专项分析（建模）、部署与实施优化、项目总结六大部分。

一、需求提报

任何数据分析的起点都是从业务需求开始的。在收到业务需求后，首先要做的还不是业务够通，是考量这个需求是否可以受理。导致需求不能受理的原因包括业务需求本身是个伪命题以及目前的数据无法支撑该需求的分析。

目的：第一步需求提报的审核目的是找到最佳需求命题，并确定该命题的可行性。

输出物料：无

周期：1天内响应

二、商业理解

商业理解包括业务语言转化成数据语言的整个过程，目的是确定业务通过数据需要实现的具体纬度，粒度，数据范围等，通过方案思路进行二次确认。确认思路后，会正式开始项目的数据部分工作。

目的：确认业务逻辑、数据分析需求、数据产出内容方向及分析思路。

输出物料：分析思维导图、测试数据

周期：2天

三、数据准备

数据准备是对即将进行的分析和挖掘工作进行预处理，包括从数据仓库中取数，验证数据质量，数据特征提取，异常值处理，数据转换，合并等，为最终的数据分析挖掘做准备。这个阶段是非常费时但是重要的工作，前期这个工作做不好会直接影响数据质量。

目的：数据前期清洗。

输出物料：数据

周期：4天

四、专项分析（建模）

经过需求确认，数据清洗之后，开始了专项数据分析和挖掘工作，包括常用的描述性数据统计、数据分类、聚类、管理、序列、规则提取等建模工作，并在专项分析或建模结束后完成模型测试工作，保持模型的稳定性和最佳拟合度。

目的：报告撰写、模型搭建。

输出物料：分析报告、建模流程和节点、模型评估报告等

周期：7天

五、部署与实施优化

本阶段包括数据结果输出，方式可能是邮件、会议类（通常是二者配合），在业务报告沟通中确认落地执行计划，并安排排期和计划方案，同时数据分析师进行数据收集，等业务执行完毕后进行效果再评估，并根据评估结果优化前期报告或模型结果。

目的：数据落地。

输出物料：业务执行计划、落地排期、数据落地收集计划等

周期：14天（根据所需数据量和业务时间需求而定）

六、项目总结

在整个项目结束后，进行整体总结，反思本项目整个过程，包括前期需求沟通与确认是否清晰，中期数据处理、分析和挖掘如何优化，后期数据落地效果和建议等，对整个项目有新的认知，最终为下一次项目积累经验。如果有必要，可以跟业务一起沟通讨论本次项目的优劣得失。另外，不是所有的有效项目都是以成功结束，失败的项目也可以为我们带来启发，最起码能说明业务的逻辑或出发点不可行。

目的：经验总结

输出物料：项目总结报告

周期：1天

只会做挖掘、只会写报告的数据分析师只能算一半，另一半就是如何把我们的思想、建议融入业务中，真正让他们理解并付诸实践。这才是数据分析师存在的真正价值。