Transformerにおいて、同一系列内の単語間の関係を計算するAttentionはどれか。

2026年4月3日

Self-Attentionは自身の系列内での相互作用を計算する。

確率変数 X, Y に対して、E[X + Y] = E[X] + E[Y] が常に成り立つ性質を何というか。

勾配降下法において、過去の勾配の2乗和を用いて学習率を個別に調整する手法はどれか。