AIの新たな可能性を切り開く“Attention is All You Need”
こんにちは!こーたろー@データ分析の診療所 院長です。
今回は、Transfomerモデルが近年よく活用されていますが、ここについては、Attention機構というのが深く関わっています。
ところで、Attention機構といえば、論文「Attention is All You Need」ですが、ご存知でしょうか。今回は、この論文に端を発する発想について考えて行きます!
前の記事で、大規模言語モデル(LLM)の歴史についても書いていますので、そちらもご覧ください。
Tw