本シリーズの記事リスト

• 第一弾 トークン数値化の歴史

• 第二弾 回帰による文脈伝搬

• 第三弾 レコメンダーと内積

• 第四弾 位置エンコーディング

• 第五弾 エンコーダ・デコーダ

• 第六弾 クエリとキーとバリュー

• 第七弾 エンコーダ・ブロックの詳細

• 第八弾 デコーダ・ブロックの詳細

この記事では、トランスフォーマーのアテンションの仕組みの中心となる概念、クエリ（Query）・キー（Key）・バリュー（Value）を見ていきます。ようやく自己アテンションの解説に手が届きます。

では、さっそく始めましょう。

アテンションの概要

RNNのエンコーダ・デコーダでもアテンションの仕組みがありました。それはエンコーダから出力された隠れ状態（文脈）とデコーダ内の隠れ状態との関係を計算して、エンコーダからどの隠れ状態をより多く取り込むのかを計算する手法でした。また、計算としては、ニューラルネットワーク（関連論文）やベクトルの内積（関連論文）などを使います。