Model Servingの「Route Optimization(ルート最適化)」機能は、LLM(大規模言語モデル)などの推論において何を行うか。

特に生成AIモデルにおいて、リクエストのバッチ処理やKVキャッシュの共有などを最適化し、性能を向上させる機能。