扫码加入数据分析学习群

ID3（迭代二分法3）由Ross Quinlan于1986年开发。该算法创建多路树，为每个节点（即，以贪婪的方式）找到分类特征，该分类特征将为分类目标产生最大的信息增益。将树长到最大大小，然后通常应用修剪步骤以提高树概括未见数据的能力。

C4.5是ID3的后继版本，并通过动态定义离散属性（基于数字变量）来消除要素必须分类的限制，该离散属性将连续属性值划分为离散的间隔集。C4.5将训练后的树（即ID3算法的输出）转换为if-then规则集。然后评估每个规则的这些准确性，以确定应该应用它们的顺序。如果没有规则，规则的准确性会提高，则删除规则的先决条件即可进行修剪。

C5.0是Quinlan在专有许可下的最新版本。与C4.5相比，它使用更少的内存并构建更小的规则集，同时更加准确。

CART（分类树和回归树）与C4.5非常相似，但是区别在于它支持数字目标变量（回归）并且不计算规则集。CART使用在每个节点处产生最大信息增益的特征和阈值构造二叉树。