基于变精度粗糙集的决策树优化算法研究

决策树是指用树形结构来表示决策集合，是一种直观的知识表示方法，同时也是高效的分类器，可以非常容易地产生关联规则。 其中每个内部节点表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点代表类或类分布。树的最顶层节点是根节点。构造决策树的主要思想是以 信息论为工具，在各非叶节点选择重要的属性或属性组，自上而下地分割训练实例集，直到满足某种终止条件，即结点中的实例属于同一类。

理想的决策树分为3种：1、叶节点数最少；2、叶子节点深度最小；3、叶节点数最少且叶子节点深度最小。但是最优决策树已经被证明是一个NP-hard问 题[1]。多变量决策树[2]虽然叶结点数和深度比较小，但是很难理解其含义。以Quinlan[3]提出的ID3为代表的单变量决策树选取属性时倾向于 取值较多的属性，值过多的属性容易给分类带来不必要的麻烦，而且属性间的相关性强调不够，这一缺点导致决策树中子树的重复和有些属性在决策树上某一路径上 被多次选择，降低了分类的效率。训练数据中难以避免噪声数据，因此难以提高决策树的泛化能力。
本文针对上述这些问题，应用变精度粗糙集理论[4]，给出了一种利用新的启发式函数
构造决策树的方法。该方法以变精度粗糙集中的分类质量的量度(The Measure of Quality of Classification)作为信息函数，对条件属性进行选择，充分考虑了属性间的依赖性和冗余性。 
尤其考虑了训练数据中的噪声数据，允许在构造决策树的过程中划入正区的实例类别存在一定的不一致性，简化生成的决策树，提高决策树的泛化能力。实例表明利用本方法构造的决策树不仅结构简单而且实用，并且容易理解，明显优于传统的基于信息熵的ID3算法。