Bagging
Bagging是并行式集成学习算法最著名的代表，基于自助采样法（bootstrap sampling）。
给定m个样本的数据集，选取m次，每次选1个样本，构成一个新的样本集，其中有的样本集在原始样本集中多次出现。约有63.2%存在与原始样本集。这样进行T次学习，再对学习的基学习器输出进行加权求和或投票得出最终结果。
- 剩下的样本可以用作包外估计，计算Bagging泛化误差的包外估计。
- 基学习器是决策树时，可以用来辅助剪枝。
- 基学习器是神经网络时，可以辅助早期停止以减少过拟合风险。
随机森林（Random Forest）
随机森林是Bagging的一个变体，在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。具体的：在构建传统决策树时，是对当前节点的所有属性d中选择一个最优属性进行划分。而在随机森林中，选择一个d的子集k，在k个属性中选择一个最优属性进行划分。（k控制了随机性的引入程度）
k=d时，与传统决策树相同，相当于以决策树构建Bagging集成。
k=1时，则随机选择一个属性进行划分，称随机森林。一般推荐k=log2d
