knowledge-distillation

在机器学习中，知识提炼是将知识从大型模型转移到较小模型的过程。虽然大型模型比小型模型具有更高的知识容量，但是可能无法充分利用这种容量。即使模型很少利用其知识能力，评估模型在计算上也可能同样昂贵。知识提炼可将知识从大型模型转移到小型模型，而不会降低有效性。由于较小的模型评估成本较低，因此可以部署在功能较弱的硬件上。