最適化アルゴリズムにおいて、Adamが内部で保持している「1次のモーメント」は何に対応するか。

TransformerのSelf-Attentionにおいて、各単語から生成される3つのベクトルはどれか。