アルトマン（OpenAI の CEO）が「巨大 AI モデルを用いる時代は終わった」と語っているように「大量のデータで巨大モデルを学習させる」という AI 研究のアプローチは、すでに限界に達しています。

では、今後 AI 研究はどうなるのでしょうか？
限界を打破してさらに人間に近づくためにはどうすればよいのでしょうか？

＊＊＊

囲碁・将棋をプレイするエージェントは「現在の盤面において、ある指手を選択した場合、次の盤面がどれほど有利になるか」を、可能な指手に対して評価し、最も妥当な指手を選択します。

つまり、エージェントには「盤面評価」と「指手選択」という2つの学習モジュールが実装されており、これらを報酬フィードバックに基づいて学習（強化学習）することによってその精度を向上させることが求められます。

ここで、盤面評価の複雑性が主要な課題になります。「ある盤面は自分にとってどれほど有利か」を評価する必要があるところ、盤面の可能性が多すぎる（囲碁の場合は最大 10 の 360 乗のスケール）ことにより、うまく学習できないのです。

これを解決したのがディープラーニングでした。膨大な数の棋譜を集め、スーパーコンピュータをぶん回し、盤面評価の複雑性を巨大モデルで克服したのです。私が AlphaGo を「脳筋研究」と揶揄するのは、問題の解き方が力技に過ぎるからです。

このように「複雑性を巨大モデルで吸収する」「大量のデータと莫大な計算リソースを突っ込む」というのが、実問題を解くための（いまのところの）基本戦略です。なので、でかいゲンコツで殴りにいくパワーがなければ、研究の土俵に立てないのが最近の現実です。

ところが、冒頭でも紹介したように、この「巨大モデルで殴りにいく」というアプローチは限界を迎えています。もうこれ以上大きくできないのです。

どうすればよいか？
私は「比較的小さめのモデルを複数連携させること」と考えています。

例えば、先に例示した「盤面評価」の場合、１つの巨大モデルにすべての可能性を担当させるのではなく、盤面の可能性を複数に分割し、小さなモデルを各部分に担当させます。ただし、複数の小さなモデルは、それぞれ独立に動作するのではなく連携します。

ここで「連携」とは、複数のモデル間になんらかの「拘束条件」が加えられていることにより、あるモデルで学習が進むと、別のモデルでも学習が進むことをいいます。

巨大モデルアプローチでは、１つのモデルが問題全体を包含しようとするのに対し、複数モデルアプローチでは、複数の小さなモデルが全体を覆いつくし、１つの歯車（モデル）が動けば、その動きが全体に波及して大きなカラクリが動作する……そんなイメージです。

イメージだけをサラッと書きましたが、これは相当難しいジャンプアップです。「あるモデルで学習が進むと、別のモデルでも学習が進む」ような仕掛けは、数理的にまったく自明ではないからです。私が示したこの方向性が、仮に正しいとしても、仕掛けの研究には相応の期間が必要になるでしょう。

もしこの方向性で AI が進化すれば、例えば「料理ができるようになったら仕事の段取りがうまくなった」のような抽象レベルでの転移学習が起こるはずです。そうすれば、問題に特化したデータを大量に集める必要もなくなりますし、学習するのは小さなモデルなので莫大な計算リソースもいりません。

「持たざる者の研究戦略」—— それは複数の小さなモデルを連携させるとは、いったいどういうことかを考えることだと私は思います。

＊＊＊

……というのは、すべて私の妄想です。夜中に脳みそが Fly away した状態で考えたら、こんな怪文書ができあがりました。

プロフェッショナルな研究者の皆さまにおかれましては、こんな研究者くずれの妄言を間に受けることなく、自ら信じる方向性で研究を進めていただければと思います。