Edouard Mehlman将在下一个NLP早餐时提出有关知识蒸馏的两篇论文。bob体育买球
提高几乎任何机器学习算法性能的简单方法是培训在同一数据上的许多不同模型，然后培训到平均预测。bob体育客户端不幸的是，使用模型的整个集合进行预测是笨重的，可能太昂贵，以允许部署到大量用户，特别是如果各个模型是大的神经网络。
知识蒸馏背后的主要思想是将这些大型（教师）模型蒸馏成较小，但几乎与高效，更具生产友好（学生）模型。bob电子竞技平台
Edouard将解释知识蒸馏背后的主要观点（教师 - 学生网络， 这Softmax激活温度那黑暗知识， 和软化概率）并展示它们如何用于减少大型神经网络模型的推理时间，或将多个单独训练的任务组合到多任务模型中。
什么时候？
7月18日星期四上午9:30
在哪里？
参考
蒸馏在神经网络中的知识（2015年）是谷歌提供了关于知识蒸馏动机的洞察的原始论文。
这个博客帖子说明了在简单的逻辑回归中的蒸馏器如何改善了情绪分类任务的结果。
bam！出生 - 再次用于自然语言的多任务网络
理解是最新的斯坦福纸，显示了使用退火技术如何比老师更好的多任务学生网络！
