模型融合是通过融合多个模型,最终达到提升性能,达到好的分数的过程,一般来说,模型融合都是放在所有流程的最后,一般用于冲分阶段,具体来说模型融合有以下几种形式
1 voting或权重型
即通过对模型的预测结果进行投票或赋予权重,达到弥补模型的错误,提升分数的作用。
但是该种方法适用于结果相互独立的模型,例如xgboost模型和lgb模型根据其性能分别赋予权重或投票,即对于正确率低的模型给予更低的权重,而正确率更高的模型给予更高的权重。但是对于越相近的模型效果越差。
2 Bagging算法 (英语:Bootstrap aggregating,引导聚集算法),又称装袋算法,是机器学习领域的一种团体学习算法。最初由Leo Breiman于1996年提出。Bagging算法可与其他分类、回归算法结合,提高其准确率、稳定性的同时,通过降低结果的方差,避免过拟合的发生。
即对:在样本集中进行K轮有放回的抽样,每次抽取n个样本,得到K个训练集;分别用K个训练集训练得到K个模型。对得到的K个模型预测结果用投票或平均的方式进行融合。
3 提升方法(Boosting),是一种可以用来减小监督式学习中偏差的机器学习算法,训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的。
4 Stacking的思想是一种有层次的融合模型,比如我们将用不同特征训练出来的三个GBDT模型进行融合时,我们会将三个GBDT作为基层模型,在其上在训练一个次学习器(通常为线性模型LR),用于组织利用基学习器的答案,也就是将基层模型的答案作为输入,让次学习器学习组织给基层模型的答案分配权重。