为什么决策树中经常用熵作为判别条件而不是基尼不纯度？

2023-04-13

决策树是一种常用的机器学习算法，用于分类和回归问题。在决策树构建的过程中，熵和基尼不纯度是两个常用的判别条件，用于选择最优的分裂点。虽然熵和基尼不纯度都可以表示样本集合的混乱程度，但是为什么在决策树中 ...

决策树作为一种分类方法为什么可以用于预测？

2023-04-11

决策树是一种常见的分类方法，它通过将数据集分成小的子集来构建分类模型。决策树的主要思想是基于一系列规则（即节点）来预测输出值。在决策树中，每个节点代表一个属性或特征，每个边代表该属性可能的值，而每个叶 ...

逻辑回归与决策树有什么区别?

2023-04-10

逻辑回归和决策树是两种常见的机器学习模型，它们都被广泛应用于分类问题。虽然这两种模型都可以达到相似的分类效果，但它们的实现方式和适用场景有很大不同。 逻辑回归是一种基于概率的分类算法，它尝试为每个类别 ...

决策树是如何处理不完整数据的？

2023-04-10

决策树是一种常见的机器学习算法，它可以用于分类和回归问题。在训练决策树模型时，我们通常会遇到不完整数据的情况，即数据中存在缺失值。那么，决策树是如何处理不完整数据的呢？本文将对此进行详细的介绍。 一、 ...

如何计算决策树的各特征重要程度？

2023-04-07

决策树是一种常用的机器学习算法，它可以对数据进行分类和预测。在决策树中，特征（或属性）重要性是指每个特征对模型准确性的贡献程度。因此，了解如何计算特征重要性是非常有用的，可以帮助我们选择最相关的特征， ...

如何理解决策树的损失函数?

2023-03-31

决策树是机器学习中一种强大的非线性分类和回归模型。在训练决策树模型时，需要选择合适的损失函数来度量模型预测结果与真实标签之间的差异。本文将详细介绍决策树的损失函数以及其解释。 一、决策树模型简介 决策树 ...

神经网络能否代替决策树算法？

2023-03-22

神经网络和决策树算法是两种不同的机器学习模型，它们各自有着自己的优缺点。在选择使用何种模型时，需要根据具体情况进行考虑。本文将介绍神经网络和决策树算法，并探讨神经网络是否可以代替决策树算法。 首先，我 ...

风控策略的自动化生成-利用决策树分分钟生成上千条策略

2022-02-21

作者：小伍哥 来源：小伍哥聊风控 本文重点：风控策略挖掘、策略推荐，策略发现，风控策略自动化，决策树 下面开始正文： 风控策略同学在挖掘有效的风控规则的时候，经常需要基于业务经验，将那几 ...

数据挖掘之决策树归纳算法的Python实现

2018-06-17

数据挖掘之决策树归纳算法的Python实现 引自百度：决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。 ...

R语言之决策树和随机森林

2018-06-16

R语言之决策树和随机森林 总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。 一、特征生成： 特征生成是 ...

决策树与随机森林的R语言实现

2018-06-14

决策树与随机森林的R语言实现 1.用party包构建决策树 以iris数据集为例。 用ctree()建立决策树，用predict()对新数据进行预测。 训练集与测试集划分： [ruby] view plain copy     > str(iris) ...

基于R语言的分类算法之决策树

2018-06-14

基于R语言的分类算法之决策树 ID3 《= 最大信息熵增益，只能处理离散型数据 C4.5 《= 信息增益率，可处理连续性和离散型数据，相比ID3，减少了因变量过多导致的过拟合 C5.0 《= 信息增益率，运算性能比C4 ...

数据挖掘---分类:基本概念、决策树、与模型评估

2018-06-13

数据挖掘---分类:基本概念、决策树、与模型评估 分类：基本概念、决策树与模型评估 分类任务就是确定对象属于那个预定义的目标类。就是通过学习得到一个目标函数f,把每个属性集映射到一个预先定义的类标号y. 一 ...

Python机器学习之决策树算法实例详解

2018-02-10

Python机器学习之决策树算法实例详解 本文实例讲述了Python机器学习之决策树算法。分享给大家供大家参考，具体如下： 决策树学习是应用最广泛的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方 ...

机器学习决策树算法学习笔记

2017-05-16

机器学习决策树算法学习笔记 基本概念 决策树是分类算法。 数据类型：数值型和标称型。因为构造算法只适用于标称型，所以数值型数据必须离散化。 工作原理 利用香浓熵找到信息增益最大的特征，按照信息增益最大 ...

机器学习：决策树（Decision Tree）

2017-03-11

机器学习：决策树（Decision Tree） 决策树（decision tree）是一种基本的分类与回归方法。在分类问题中，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。在学习时，利 ...

分类算法之决策树(Decision tree)

2016-12-21

分类算法之决策树(Decision tree) 在前面两篇文章中，分别介绍和讨论了朴素贝叶斯分类与贝叶斯网络两种分类算法。这两种算法都以贝叶斯定理为基础，可以对分类及决策问题进行概率推断。在这一篇文章中，将讨论 ...

数据挖掘系列决策树分类算法

2016-08-15

数据挖掘系列决策树分类算法 从这篇开始，我将介绍分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。 这篇先介绍 ...

机器学习中常见的决策树分类算法有哪几种？

2020-07-20

在机器学习中，因为决策树的算法是十分给力，因此使用决策树能够帮助我们解决很多的问题。决策树的算法分为很多种，今天小编主要跟大家介绍一下决策树的分类算法。 一、决策树的概念 决策树，根据名字就能知 ...

梯度提升决策树到底是一种怎样的算法？

2020-07-09

梯度提升决策树(GBDT)，全称为Gradient Boosting Decision Tree，是一种迭代的决策树算法，由多棵决策树组成，将所有树的结论累加起来，产出最终答案。 这也就意味着在GBDT中，CART决策树为基学习器，也就是每 ...