HOMELv041 LLMのコンテキスト長を拡張する際;データの先頭部分のみを重要視するアテンションの性質を利用した手法はどれか。 2026年1月25日 「最初の数トークン」がアテンションの受け皿(Sink)として機能することを発見し;省メモリで無限長の推論を目指す。 複数のAIエージェントが協力して一つの課題を解く際;各エージェントの「役割(Role)」や「対話の流れ」を定義・制御する仕組みを何というか。 ニューラルネットワークのパラメータを、特定の数学的な対称性(回転や反転など)を保ったまま学習させる手法を何というか。