Bagging VS Boosting

1. 1. 样本选择上

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独⽴的。

Boosting：每⼀轮的训练集不变，只是训练集中每个样例在分类器中的权重发⽣变化，⽽权

值是根据上⼀轮的分类结果进⾏调整。

2. 样例权重

Bagging：使⽤均匀取样，每个样例的权重相等。

Boosting：根据错误率不断调整样例的权重，错误率越⼤则权重越⼤，因此Boosting的分类

精度要优于Bagging。

3. 预测函数

Bagging：所有预测函数的权重相等。

Boosting：每个弱分类器都有相应的权重，对于分类误差⼩的分类器会有更⼤的权重。

4. 并⾏计算

Bagging：各个预测函数可以并⾏⽣成，对于极为耗时的学习⽅法，Bagging可通过并⾏训练

节省⼤量时间开销。

Boosting：各个预测函数只能顺序⽣成，因为后⼀个模型参数需要前⼀轮模型的结果。

5. 过拟合和⽋拟合

单个评估器存在过拟合问题的时候，Bagging能在⼀定程度上解决过拟合问题，⽽Boosting

可能会加剧过拟合的问题。

单个评估其学习能⼒较弱的时候，Bagging⽆法提升模型表现，Boosting有⼀定可能提升模

型的表现。

6. 算法⽬标

Bagging：降低⽅差，提⾼模型整体的稳定性。

Boosting：降低偏差，提⾼模型整体的精确度。

Bagging和Boosting都可以有效地提⾼分类的准确性。在⼤多数数据集中，Boosting的准确

性要⾼于Bagging。