HOMELv033 RNNの勾配消失問題において、勾配が消失する主な要因は何か。 2026年3月13日 過去に遡るにつれて、重み行列や活性化関数の微分（<1）が何度も掛け合わされ、勾配が指数関数的に0に近づく。 ミニバッチ学習において、バッチサイズを小さくすることの副作用はどれか。 Layer Normalization（層正規化）の特徴はどれか。
