LLMの運用コストを削減するために;「似たような意味の質問」をグループ化し、一度の推論でまとめて回答する効率化技術を何というか。

推論のスループットを最大化するための、サーバー側のスケジューリング技術。