勾配更新の際に、過去の勾配の重み付き平均を利用して振動を抑える手法はどれか。

Momentumは勾配の進行方向に慣性をつけることで収束を安定させる。

関連記事

関連記事はありません。