勾配降下法において、過去の勾配の2乗和を用いて学習率を個別に調整する手法はどれか。

Transformerにおいて、同一系列内の単語間の関係を計算するAttentionはどれか。