cda

数字化人才认证

您的位置:首页 > 大数据时代 > 梯度提升决策树到底是一种怎样的算法?

梯度提升决策树到底是一种怎样的算法?

2020-07-09

梯度提升决策树(GBDT),全称为Gradient Boosting Decision Tree,是一种迭代的决策树算法,由多棵决策树组成,将所有树的结论累加起来,产出最终答案。

这也就意味着在GBDT中,CART决策树为基学习器,也就是每一次用CART决策树去拟合各个样本的伪残差。梯度提升决策树GBDT通过多轮迭代,每轮迭代产生一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单,并且是低方差和高偏差的。

弱分类器一般会选择为CART TREE(也就是分类回归树)。由于上述高偏差和简单的要求 每个分类回归树的深度不会很深。最终的总分类器 是将每轮训练得到的弱分类器加权求和得到的(也就是加法模型)。

梯度提升决策树GBDT算法原理

(1)初始化弱学习器

(2)对m=1.2....,Mm=1.2....,M有:

完 谢谢观看

分享
收藏

OK