梯度提升决策树到底是一种怎样的算法？-CDA数据分析师官网

2020-07-09

梯度提升决策树(GBDT)，全称为Gradient Boosting Decision Tree，是一种迭代的决策树算法，由多棵决策树组成，将所有树的结论累加起来，产出最终答案。

这也就意味着在GBDT中，CART决策树为基学习器，也就是每一次用CART决策树去拟合各个样本的伪残差。梯度提升决策树GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。

弱分类器一般会选择为CART TREE(也就是分类回归树)。由于上述高偏差和简单的要求每个分类回归树的深度不会很深。最终的总分类器是将每轮训练得到的弱分类器加权求和得到的(也就是加法模型)。

(1)初始化弱学习器

(2)对m=1.2....,Mm=1.2....,M有：

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

决策树梯度提升偏差

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇决策树剪枝，常用这2种方法

下一篇不平衡数据处理常用方法--下采样