Attention機構の中でも、Query、Key、Valueの全てが同じ入力から生成されるものを何と呼ぶか。

2026年3月12日

Self-Attentionは系列内の自己相関を計算し、文脈を捉える。

時系列データにおいて、過去の一定期間の平均値を算出し、データの変動を滑らかにする手法はどれか。

重みの初期化において、ReLU関数を使用する場合に推奨される初期化手法はどれか。