商务智能体系介绍—数据挖掘相关理论

信息时代的到来，使得人们在实践中积累的数据越来越多。大量信息给人们带来方便的同时也带来一大堆问题，如信息过载，难以消化；信息形式不一致，难以统一处理；信息真伪难辨等等，导致了“信息爆炸而知识缺乏”、“信息孤岛”等现象。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，发现数据中存在的关系和规则，根据现有数据预测未来的发展趋势，获得更准确全面的信息帮助管理层决策。面临着这些新问题和挑战，人们开始考虑和解决如何舍弃那些不必要的信息，从大量的数据中提取有用的信息，提高信息的利用率，数据挖掘技术此时应运而生。
    数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的和随机的数据中，提取隐含在其中的、人们事先不知道的，但又是潜在有用的信息和知识的过程。数据挖掘是一门广义的交叉学科，它汇聚了不同领域尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的知识。数据挖掘技术从一开始就是面向应用领域，它不仅是面向特定数据库的简单检索查询调用，而且，要对数据进行微观、中观乃至宏观的统计、分析、综合和推理，以指定实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。

图1 数据挖掘的流程
    数据挖掘的任务是从大量数据中发现知识，可分为描述性挖掘，隐藏性挖掘和预测性挖掘三类，如图2所示。描述性挖掘是刻画出数据仓库中数据的某一特性，解释发现了什么；隐藏性挖掘找出以前无法探知，隐藏于业务数据中的信息，解释为什么；预测性挖掘则是在但前数据上进行推理，做出预测，解释将会发生什么。
    数据挖掘与传统的数据分析（如查询、报表、联机应用分析）的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识数据挖掘所得到的信息应具有事先未知，有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识。

图2 数据挖掘类型
    数据挖掘方法有很多种，其中比较典型的有分类、关联、序列模式、聚类等，本文在后面将详细介绍其分析模式及算法。