学習済みの巨大なモデル(教師)から、その知識を維持したまま小規模なモデル(生徒)を作成する手法を何というか。

知識を抽出して軽量なモデルに継承させる手法を知識蒸留と呼ぶ。