深度学习在这两年的发展可谓是突飞猛进，为了提升模型性能，模型的参数量变得越来越多，模型自身也变得越来越大。在图像领域中基于Resnet的卷积神经网络模型，不断延伸着网络深度。而在自然语言处理领域（NLP）领域，BERT，GPT等超大模型的诞生也紧随其后。这些巨型模型在准确性上大部分时候都吊打其他一众小参数量模型，可是它们在部署阶段，往往需要占用巨大内存资源，同时运行起来也极其耗时，这与工业界对模型吃资源少，低延时的要求完全背道而驰。所以很多在学术界呼风唤雨的强大模型在企业的运用过程中却没有那么顺风顺水。
知识蒸馏
为解决上述问题，我们需要将参数量巨大的模型，压缩成小参数量模型，这样就可以在不失精度的情况下，使得模型占用资源少，运行快，所以如何将这些大模型压缩，同时保持住顶尖的准确率，成了学术界一个专门的研究领域。2015年Geoffrey Hinton 发表的Distilling the Knowledge in a Neural Network的论文中提出了知识蒸馏技术，就是为了解决模型压而生的。至于文章的细节这里笔者不做过多介绍，想了解的同学们可以点击上方链接好好研读原文。不过这篇文章的主要思想就如下方图片所示：用一个老师模型（大参数模型）去教一个学生模型（小参数模型），在实做上就是用让学生模型去学习已经在目标数据集上训练过的老师模型。尽管学生模型最终依然达不到老师模型的准确性，但是被老师教过的学生模型会比自己单独训练的学生模型更加强大。
这里大家可能会产生疑惑，为什么让学生模型去学习目标数据集会比被老师模型教出来的差。产生这种结果可能原因是因为老师模型的输出提供了比目标数据集更加丰富的信息，如下图所示，老师模型的输出，不仅提供了输入图片上的数字是数字1的信息，而且还附带着数字1和数字7和9比较像等额外信息。