常见决策树分类算法都有哪些？-CDA数据分析师官网

热线电话：13121318867

常见决策树分类算法都有哪些？

2019-02-22

我们都知道，在机器学习中我们有很多的问题都是需要使用决策树来解决，由此我们不难发现决策树是一个十分实用的内容，这是因为决策树的算法是十分给力的。其实决策树的算法也是有很多的，我们在这篇文章中给大家详细地介绍一下决策树的分类算法。

首先我们给大家介绍一下C4.5算法，这种算法就是基于ID3算法的改进，主要包括：使用信息增益率替换了信息增益下降度作为属性选择的标准；在决策树构造的同时进行剪枝操作；避免了树的过度拟合情况；可以对不完整属性和连续型数据进行处理；使用k交叉验证降低了计算复杂度；针对数据构成形式，提升了算法的普适性。

然后我们给大家介绍一下CLS算法。这种算法就是最原始的决策树分类算法，基本流程是，从一棵空数出发，不断的从决策表选取属性加入数的生长过程中，直到决策树可以满足分类要求为止。CLS算法存在的主要问题是在新增属性选取时有很大的随机性。

接着我们给大家介绍一下ID3算法，这种算法就是对CLS算法的最大改进是摒弃了属性选择的随机性，利用信息熵的下降速度作为属性选择的度量。ID3是一种基于信息熵的决策树分类学习算法，以信息增益和信息熵，作为对象分类的衡量标准。ID3算法结构简单、学习能力强、分类速度快适合大规模数据分类。但同时由于信息增益的不稳定性，容易倾向于众数属性导致过度拟合，算法抗干扰能力差。而ID3算法的核心思想：根据样本子集属性取值的信息增益值的大小来选择决策属性(，并根据该属性的不同取值生成决策树的分支，再对子集进行递归调用该方法，当所有子集的数据都只包含于同一个类别时结束。最后，根据生成的决策树模型，对新的、未知类别的数据对象进行分类。这种算法的优点就是方法简单、计算量小、理论清晰、学习能力较强、比较适用于处理规模较大的学习问题。缺点就是倾向于选择那些属性取值比较多的属性，在实际的应用中往往取值比较多的属性对分类没有太大价值、不能对连续属性进行处理、对噪声数据比较敏感、需计算每一个属性的信息增益值、计算代价较高。

我们在这篇文章中给大家介绍了决策树分类算法的具体内容，不难发现决策树的算法都是经过不断的改造而趋于成熟的，希望这篇文章能够帮助大家更好带来理解决策树的知识。

CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；