2020-09-28 阅读量: 1619
Adaboost
Adaboost是模型为加法模型，损失函数为指数函数，学习算法为向前分布算法的二分类学习算法。其基学习器最常见的是决策树桩，也就是深度为1 的决策树。在每一轮提升相应错分类点的权重可以被理解为调整错分类点的observation probability。
xgboost
在XGBoost中，树可以有不同数量的终端节点，并且计算证据较少的树的左权值收缩得更厉害。Newton
Boosting 采用 Newton-Raphson
近似法，比梯度下降法提供了一条直接到达最小值的路径。额外的随机化参数可以用来减少树之间的相关性，分类器之间的相关性越小，我们的分类器集合就会越好。一般来说，XGBoost比
Gradient Boosting 快，但 Gradient Boosting 的范围很广。
