知識蒸留

知識蒸留 (英: knowledge distillation) とは、機械学習の技術の一つ。大規模なモデル（教師モデル）が持つ豊富な知識を、より小さなモデル（生徒モデル）に伝達する手法。

概要

深層学習の分野では、2015年にGeoffrey Hintonらによって導入された。一般に大規模なモデルが持つ知識容量が全て利用されているとは限らず、推論の際に単に計算資源を無駄にしていることもある。教師モデルの出力や内部表現を生徒モデルに教えることで、推論の妥当性を大きく損なうことなく、生徒モデルがより効率よく推論速度を向上させるために用いられる。