TransformerのPositional Encodingにおいて、位置情報の計算に使われる関数はどれか。

周期関数であるsin/cosを用いることで、相対的な位置関係を学習しやすくし、任意の長さに対応可能にしている。

関連記事

関連記事はありません。