一种基于数据挖掘的通用CRM系统框架及关键技术研究

随着客户信息量的增加，客户与公司的关系变得越来越复杂，单纯操作性的客户关系管理CRM(Customer Relationship Management)已难以满足用户的需要。在CRM中引入数据挖掘技术，增强系统对相关海量客户管理信息的有效整理、识别、归类等功能，使CRM系统在一定程度上具有智能特点，已经成为当前的研究热点。传统基于数据挖掘的CRM系统集中在对客户数据本身的挖掘上，缺乏进一步对这些数据的分析处理和优化决策的功能，在一定程度上限制了它的推广作用。

本文在充分分析当前CRM的应用现状的基础上，提出了一种新的基于数据挖掘技术的通用商业CRM系统框架，针对典型行业的商业应用特点建立客户分类准则和响应方式，即客户商业应用模型。系统通过集成数据挖掘、联机数据分析(OLAP)技术以及知识库技术形成支持基于客户商业模型的客户响应，该框架不仅能够加强用户对具体商业应用的处理效率、处理质量，而且框架的开放式体系使其具有可扩展性和灵活性。

2 CRM系统框架

2.1 系统体系框架

该系统体系框架可以根据行业需求进行定制，构建基于客户只能分析的数据挖掘解决方案。数据挖掘应用平台层次结构如图1所示。整个CRM系统分六个层次。

图1 系统体系框架

(1)用户层对客户关系管理有需求的不同行业提供专用用户接口开发工具，包括功能定制、界面设计、程序交互等功能接口函数，从而实现不同行业客户的客户管理定制界面设计。

(2)应用工具层是给用户层提供解决方案的基本支撑。根据不同行业需求并考虑到传统客户关系管理的功能，抽取具有共性的面向客户关系管理的功能单元模块。功能单元模块开发应用面向对象技术术封装，提供基于模板的功能属性修改功能。

(3)决策分析层作为系统的核心模块，提供一种组合辅助决策功能。从机制上又分为两个相互关联的组件，即决策分析组件与商业应用模型库。决策分析模块既可以通过OLAP实现多维数据分析，运用数据挖掘分析处理海量的客户数据，发现有价值的知识并预测客户行为。

(4)算法层是数据挖掘应用平台的核心。现实问题千差万别，一个通用的数据挖掘工具集难以解决不同行业的问题。因此，算法层提供几类当前应用较为广泛且已证明行之有效的数据挖掘算法，如：关联规则、序列模式、决策树、神经元网络、聚集、异常检测等。

(5)网络层系统与其它软件的集成通过客户/服务器模式实现，这种方式支持灵活的系统扩展模式，为面向分布式的用户应用提供方便。

(6)数据层随着信息技术的发展，企业中出现大量的、不同的包含企业客户信息的数据源，如ERP、电子商务、数据库等。因此，在数据仓库的构建中可以根据应用对象的不同，实现在企业、公司或行业中数据的动态清洗、转换、装载等功能。

2.2 数据分析处理流程

(1)在数据采集和预处理部分，从客户市场信息中抽取出所需数据并去除数据的不一致性，将所得数据进行结构和类型转换并聚合成汇总数据;将汇总数据加载进多维数据仓库，以供分析利用。

(2)在数据仓库管理部分，基于模型库、知识库和方法库的指导，采用OLAP和挖掘工具进行客户概况、诚信度和赢利能力等的分析以及相关预测，并将这些分析和预测结果以图形形式提供给执行层和决策层。

(3)决策层和业务层将这些客户信息和知识转化为企业的战略、决策和行动，以影响市场和客户。

3 关键技术

3.1 数据仓库建模

(1)数据清洗、转换、装载功能的实现

该系统的数据库是建立在Microsoft SQL Server2000数据库管理系统之上，并利用SQL Server2000的DTS(Data Transformation Service)构件的数据清洗、转换、装载等预处理功能，DTS是一个基于COM标准的服务，能够进行二次开发，除了利用SQL语言外，还能利用VBScript或JavaScript语言对各种数据源进行清洗、转换及装载。目前CIAS支持的数据源包括：关系数据库，有结构的文本数据，XML数据，数据立方体(Cube)。对于CDW中每个数据模式，都有一个可视化的用户向导(Wizard)程序帮助用户完成数据的抽取工作。在向导程序中，可以设置抽取任务执行的时间。由于信息系统的数据在不断的更新，为了保证及时性和有效性，需要同步CDW和信息系统的数据源。CDW采用数据仓库的定时更新机制，对于数据量少的信息，比如客户特征信息，采用增量覆盖式更新，在每周或每月定时更新，对于产品使用等数据量大的信息，采用每天及时更新的方式。

(2)客户对象建模

建立模型的关键是维度的选取、维度的分割、维度属性的选取、事实数据项的选取。数据挖掘的目的是发现数据中的趋势，一个自动化过程发现数据中的趋势的能力在很大程度上受数据质量的影响。在数据仓库的对象层次中的关键对象是多维数据集、度量值、维度、级别和成员属性。其中，多维数据集包含度量值和维度，维度从属于多维数据集，级别从属于维度，成员属性从属于级别。

根据CRM领域的应用特点，在数据仓库内创建了一个可扩展的以客户为中心的数据模式。具体的数据模式拓扑如图2所示。

图2 基于多维数据集的客户模型拓扑结构

用户可以在具体的数据模式中增加字段，或者忽略其认为没有意义或是没有数据的字段，在增加字段或忽略字段时，用户通过填写元数据信息，描述字段的实际含义，这些功能增加了系统的可扩展性及灵活性。数据仓库数据模式包括：客户特征信息、客户接触、客户事件、产品使用信息。

3.2 决策分析模块

DW为OLAP和DM提供优质的数据源。基于数据仓库来进行OLAP，可以提高分析速度，而且OLAP可以采取更灵活的分析方式。基于数据仓库进行数据挖掘，能更好地满足高层战略决策的要求。一般数据挖掘要花大量的精力进行数据准备。由于数据仓库已经完成了数据的收集、整理、合并等准备工作，数据挖掘可以更专注于知识发现的核心处理阶段。DM在OLAP的基础上进行进一步的自动化知识发现处理.挖掘潜藏的模式预测未来趋势。OLAP除了直接验证分析人员所提出的假设和问题，也可以验证DM得出的预测性结论，防止偏差。

在系统中，首先将数据源进行预处理，按照数据仓库的建模方式储存在数据仓库中。OLAP基于数据仓库利用先验性规则(该规则直接来源于分析人员和知识库)进行验证性分析。数据挖掘基于数据仓库进行知识发现处理，即自动发现规则。通过知识库来沟通OLAP与DM的交流。数据挖掘预测的规则输入到知识库中，OLAP从知识库中提取规则来验证规则的有效性和可信度。知识库中的规则还用于支持模型库的构建。DW、OLAP和DM需要的模型从模型库中提取。

3.3 算法的映射

参考当前CRM客户信息管理技术，本系统有五种商业模型。每种模型通过调用数据挖掘算法库中的算法构件得以实现，它可能调用一个或多个数据挖掘算法。五种商业模型与数据挖掘算法映射关系如表1所示。

表1 数据挖掘算法映射表

3.4 基于XML的模型处理中间件机制

为了保证系统的开放性和可扩展性，系统对商业模型的处理采用XML描述和存储商业模型。采用这种开放的格式，可以将挖掘模型与数据及挖掘工具分离开，可以通过文本编辑器进行编辑，使得用户易于编辑商业模型。系统提供基于XML的模型处理的中间件机制，包括数据转换器/监视器和XML的虚拟数据仓库。

(1)数据转换器/监视器。完成某种类型的数据源与虚拟数据库之间的双向映射。首先用XML描述集成数据，用XSL定义用户视图，用XML文档和格式文件DTD表示集成模式和数据源之间的映射。各个数据源的模式通过相应的转换器/监视器溶入全局模式。在这个过程中，转换器/监视器数据源中的数据结构转换为另一个DOM对象。一个关系转换器/监视器能决定关系模型和DOM对象数据模型之间的映射。

(2)XML虚拟数据仓库。一方面将用户对集成模式的访问转换成数据源可以执行的请求;另一方面将各种数据源返回的数据转换成集成模式的表示形式。具体步骤：①从数据仓库中读取数据，生成XML文件，统一格式表示;②将XML转换成一个DOM对象模型，为上层提供访问服务。具体程序的实现采用ASP作为设计语言，利用XML的DOM来操作XML文档。