推論リクエストの処理レイテンシが要件を満たさない場合、プロファイリングを行ってボトルネックを特定するために有効なツールはどれか。

推論時の各処理時間を計測し、CPU/メモリ使用状況と合わせて分析することで、コードやインフラのボトルネックを特定する。

関連記事

関連記事はありません。