集成学习本身不是一个单独的机器学习算法，是通过建立一组独立的机器学习模型，构建并结合多个机器学习器来完成学习任务，以达到减小方差（bagging）、偏差（boosting）或改进预测（stacking）的效果。

机器学习中集成学习，利用多个模型的预测组合，来对类标签进行预测。这种策略组合可以减少总误差，包括减少方差和偏差，或者提高单个模型的性能，也就是我们常说的“博采众长”。

集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。本文就对集成学习方法进行简单的总结和概述。

集成学习有两个主要的问题需要解决，第一是如何得到若干个个体学习器，第二是如何选择一种结合策略，将这些个体学习器集合成一个强学习器。

在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。

集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。