学習率の「ウォームアップ(Warmup)」とはどのような操作か。

学習初期は勾配が不安定なため、最初だけ学習率を小さくして徐々に目標値まで上げることで、初期学習を安定させる。