学習の初期段階で非常に小さな学習率から始め、徐々に大きくしていく手法はどれか。

Warmupは初期の不安定な勾配による学習の崩壊を防ぐために用いられる。

関連記事

関連記事はありません。