强化学习下的多教师知识蒸馏模型【沈向洋带你读论文】【知识蒸馏】

2022-06-02
本期论文：Reinforced Multi-Teacher Selection for Knowledge Distillation
可见于readpaper.com/...
论文摘要：
在自然语言处理 (NLP) 任务中，推理速度慢和 GPU 使用量巨大仍然是在工业级产品中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法，知识蒸馏将知识从一个或多个大型（教师）模型转移到一个小型（学生）模型。当蒸馏中有多个教师模型可用时，目前主流的做法是在整个蒸馏过程中为教师模型分配一个固定的权重，而大多数现有方法为每个教师模型分配了相同的权重。在本文中，我们观察到，由于训练样本的复杂性以及学生模型能力的差异，从教师模型中进行差异化学习可以提高学生模型的蒸馏性能。我们系统地开发了一种强化学习方法，为不同训练实例的教师模型动态分配权重，并优化学生模型的性能。我们在几个 NLP 任务上的大量实验结果清楚地验证了我们方法的可行性和有效性。

[@alexz1657]

多谢沈老师和姜老师，这篇文章的思想，已经被用在了deepseek上并且取得了巨大的成功！期待沈老师有更多的视频！

[@陳建文-k5x]

謝謝沈老師與姜老師，受益良多!

[@seanhang666]

發現這個頻道覺得對我幫助很大，謝謝兩位老師。