イーロン・マスクのxAIがGrokを発表しました。増える大規模言語モデルがどんどん増えています。大規模言語モデルが増えることのインパクトをお話しします。

増える大規模言語モデル

GPTやClaudeやGeminiやLlamaは有名な大規模言語モデルですが、大規模言語モデルの数は増え続けています。
最近もGrokやCommand R+が話題になりました。
もともとHuggingFaceには数千の大規模言語モデルが登録され、その数は増え続けています。多くはLlamaなど有名なOSSの派生です。派生を除いてもその数は増え続けています。
最新のStanford 大学のAIトレンドレポート(参考文献[Stanford])によればその数は149でそのうちOSSが65.7%を占めています。

大規模言語モデルが増えるインパクト

精度の向上

中国Tencentが More Agents is All You Need(参考文献[Tencent])という論文を出しています。ひとつひとつは誤った答えを出す可能性が高くても、多くの大規模言語モデルを走らせて多数決をとることによって、生成AIの精度はあがります。

サービスの多様化

GrokとまぎらわしいですがGroqというサービスがあります。生成AIを高速に実行するサービスです。大規模言語モデルが増えれば、多くの大規模言語モデルを比較したり、たくさんの大規模言語モデルを実行していいとこどりをするサービスが登場し普及します。

大規模言語モデル学習データ生成の容易化

大規模言語モデル、とくにOSSの大規模言語モデルが登場することによって、大規模言語モデルの学習に使うデータを自動生成することが用意になります。このことはさらに大規模言語モデルの開発を容易にします。ポジティブフィードバックが働いてさらに次の開発を容易にします。

エージェントフィードバックによる強化学習

事前学習の学習データだけでなく、従来人間のフィードバックで行っていた強化学習も生成AIが代替することが可能です。エージェントフィードバックによる強化学習によって、望ましくない出力をする大規模言語モデルを修正するのも容易になります。

AGIの可能性

人間を超えるArtificial General Intelligence (汎用人工知能）は非常に多くの人工知能が協調して働くことによって実現される、という人もいます。
AGIは議論の分かれるところですのでなんともいえないですが、Swarm Intelligence（Swarmは大量に群れるの意味）は1989年に既に提案されています。

むすび

昔は人間並みの大規模言語モデルが一つあれば、他は要らないのではないかと思っていました。間違っていたようです。大規模言語モデルを開発する知識が広まり、多様な大規模言語モデルが開発されることはそれだけで進化を加速します。

参考文献

• [Stanford] The AI Index Report Measuring trends in AI https://aiindex.stanford.edu/report/

• [Tencent] More Agents Is All You Need
  https://arxiv.org/abs/2402.05120 2024年

• [xAI] Conversational AI for understanding the universe https://grok.x.ai/ 2024年

• [wired] 1秒以内に回答するAIチャットボット「Groq」の衝撃 https://wired.jp/article/plaintext-groq-mindblowing-chatbot-answers-instantly/ 2024年

• [weel]【Command R+】オープンソース界最強LLMがGPT-4レベルの性能を達成 https://weel.co.jp/media/tech/command-r-plus/ 2024年