梯度提升决策树到底是一种怎样的算法？

梯度提升决策树(GBDT)，全称为Gradient Boosting Decision Tree，是一种迭代的决策树算法，由多棵决策树组成，将所有树的结论累加起来，产出最终答案。

这也就意味着在GBDT中，CART决策树为基学习器，也就是每一次用CART决策树去拟合各个样本的伪残差。梯度提升决策树GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。

弱分类器一般会选择为CART TREE(也就是分类回归树)。由于上述高偏差和简单的要求 每个分类回归树的深度不会很深。最终的总分类器 是将每轮训练得到的弱分类器加权求和得到的(也就是加法模型)。

梯度提升决策树GBDT算法原理

(1)初始化弱学习器

(2)对m=1.2....,Mm=1.2....,M有：