Ensemblem Methods

• Bagging：将多个classifier做成一个系统，提高accuracy。（集群决策）
• Boosting：类似于级联的方法，将多个model级联，用后面的model对于前面的model的misclassified的结果进行判断。
• Bucketing：训练多个model，选择一个最好的，注意这个和Bagging的不同在于这个是在train的时候进行的专门的训练，而Bagging是在inference的时候，这种方法对于解决多种问题（多问题判断）有奇效。
• Random Forest：典型的多专家决策。
• Stacking：这个方法是先用dataset训练一堆低精度的model，然后以这些model的输出作为新model的输入，再做一次训练。
• Learning Classifier Systems（LCS）：一种模块化的Machine Learning系统，具体细节不清楚。

Bootstrap Algorithm[1]

这种算法使用多个inducer进行判断，实现多个推理器共同决策的思路，每一次都从dataset中选出一小部分（使用不放回随机抽样进行选择，得到Bootstrap dataset和out-of-bag dataset），让每一个inducer进行判断，最后得到最终的结果。算法的伪代码如下图所示：

On-line Bootstrap Algorithm[2]

Reference

1. 《Bootstrap Aggregating》. 收入 Wikipedia, 2022年7月27日. https://en.wikipedia.org/w/index.php?title=Bootstrap_aggregating&oldid=1100814936.
2. Oza, N.C. 《Online bagging and boosting》. 收入 2005 IEEE International Conference on Systems, Man and Cybernetics, 3:2340-2345 Vol. 3, 2005. https://doi.org/10.1109/ICSMC.2005.1571498.