巨大な学習済みモデルの知識を、より小さなモデル(生徒モデル)に継承させて軽量化する手法を何というか。

知識を抽出してコンパクトなモデルを作成する手法を知識蒸留(Distillation)と呼ぶ。