はじめに

生成AIは2022年のChatGPTの登場から爆発的な関心を呼んでいます。
今回はTransformerが生成AIの最終解になるかどうかのお話をします。

生成AIとTransformer

2016年のStanford大学と2023年のMITの生成AIの授業を比較しましたが、ほとんど内容は変わりませんでした。
その間に変わったのは大規模言語モデルが登場したことです。大規模言語モデルの発展を支えたのはGoogleが発明したTransformerです。

Transformerは最終解か

2つの考え方

これについては2つの考え方があります：

• Transformerは生成AIモデルメカニズムの王であり、もはや誰もニューラルネットワークの研究をしていない [RoyalInstitute24]

• 生成AIは非常に揺籃期にあり、Transformerは最初のひとつに過ぎない

Transformerが非常に優秀なモデルであり、テキストだけでなく画像や動画にも適用可能であることは確かです。一方、最初に生まれたTransformerが最適ではなくいくらでもそれをしのぐニューラルネットワークが出てくるというのもありそうな話です。

現在地点

現在起きているのはGPU革命です。GTC2024のJensen Huangの基調講演によればGPUは8年で1000倍の性能向上を達成しています。NVIDIAのCUDAが達成している複数GPUを1個のGPUとしてプログラミングできる範囲を考えるとその正常向上はさらにその100倍に達していると思います。NB200 NVL72は72個のNB200 GPUを1個のGPUとしてプログラミングすることを可能にしているからです。
プログラマにとっては、プログラムがスケールして動けばそれが1個のGPUだろうが複数のGPUクラスタだろうが関係ありません。
ソフトウェアを組み、データを流し込んで大規模言語モデルを作り、それを人間フィードバックによる強化学習によって洗練するコストに比べれば、Transformerを新しいメカニズムで取り換えるメリットはあまり感じられません。既存のノウハウを保存したままどんどん加速してくれるなら、Transformerをキープしたほうが有利です。このトレンドはまだ数年続くと思います。

おわりに

GPUの指数関数的進化が続く限り、当面Transformerの無双は続くと予想します。

参考文献

• [RoyalInstitution24] What is generative AI and how does it work? – The Turing Lectures with Mirella Lapata https://www.youtube.com/watch?v=_6R7Ym6Vy_I 46m01s 2024年 The Royal Institution

• [Y-Combinator24] How To Build Generative AI Models Like OpenAI's Sora https://www.youtube.com/watch?v=fmI_OciHV_8　Y-Combinator 34:05 2024年