Transformerの学習において、初期段階で学習率を徐々に上げる「ウォームアップ」を適用しないとどうなりやすいか。

モデルの重みの L2 ノルムを損失に加える手法において、重み更新式で重みを直接減衰させる項が現れることから何と呼ばれるか。