こんにちは！株式会社AI Nestです。
本日は、元Googleの研究者が東京を拠点に始めたAIスタートアップ「Sakana AI」が発表した興味深い論文について紹介したいと思います。タイトルは「Evolutionary Optimization of Model Merging Recipes」。要するに、進化的アルゴリズムを使って、複数のAIモデルを組み合わせ、新しい能力を持った強力な基盤モデルを自動的に生成する手法についての研究です。

モデルマージの課題と提案手法

モデルマージ、つまり複数のモデルを組み合わせることで、新しい能力を持つモデルを作るというアイデアは、最近のAI研究で注目を集めています。特に、言語モデルの分野では、異なるタスクに特化したモデルを組み合わせることで、より汎用的なモデルを作る試みが盛んになっています。

でも、実際にモデルをマージするには、人間の直感と専門知識が必要で、なかなか大変なんですよね。どのモデルを選ぶか、どんな比率で組み合わせるか、パラメータをどう調整するかなど、考えることがたくさんあります。

この論文では、そこに進化的アルゴリズムを導入することで、自動的にモデルマージを行う手法を提案しています。進化的アルゴリズムとは、生物の進化をヒントにした最適化手法で、複雑な問題に対して効果的だということが知られています。

提案手法の肝は、パラメータ空間（モデルの重み）とデータフロー空間（推論のパス）の両方で最適化を行うという点です。パラメータ空間では、各レイヤーの重みをどう組み合わせるかを最適化します。一方、データフロー空間では、入力データがモデルのどのレイヤーを通るかという推論のパスを最適化するんです。

この2つの空間で最適化を行うことで、より柔軟かつ効果的なモデルマージが可能になります。研究チームは、この手法を使って、日本語LLMと数学推論能力を併せ持つモデルや、日本語に特化した画像・言語モデル（VLM）を生成することに成功しました。

実験結果に驚愕！

論文では、提案手法の有効性を確かめるために、いくつかの実験が行われています。まず、日本語LLMと英語の数学推論モデルを組み合わせて、日本語数学LLMを生成しました。

生成されたモデルの性能は、日本語の数学問題に関するベンチマーク（MGSM-JA）で評価されました。驚くべきことに、このモデルは、元の日本語LLMや英語の数学モデルをはるかに上回る性能を示したんです。しかも、明示的にこのタスクに最適化されていないにもかかわらず、です。

さらに、日本語LLMと英語のVLMを組み合わせて、日本語VLMも生成しました。このモデルは、日本特有のコンテンツを扱うタスクで評価されました。結果は印象的で、既存の日本語VLMを上回る性能を示しました。日本の文化に関する知識を適切に捉えられているようです。

これらの結果は、提案手法の有効性を強く示唆するものです。進化的アルゴリズムを使ってモデルを自動的にマージすることで、個々のモデルが持つ能力を引き出し、新しい能力を持つモデルを生成できるということが分かりました。

新たな可能性を感じさせる研究

この研究は、AIモデル開発における新しいパラダイムを提示していると思います。従来は、新しいタスクに対応するには、大量のデータを集めて一からモデルを訓練する必要がありました。でも、この手法なら、既存のモデルを組み合わせるだけで、新しい能力を持つモデルを作れるんです。

しかも、人間の直感に頼ることなく、自動的にベストな組み合わせを見つけられる。これは、モデル開発の効率を大幅に上げられる可能性を秘めています。特に、大規模なモデルを扱う場合、訓練にかかるコストと時間は膨大です。その点、モデルマージなら、比較的低コストで新しいモデルを作れるんです。

また、この研究が示唆するのは、異なるドメインのモデルを組み合わせることの価値です。自然言語処理と画像認識、あるいは言語理解と数学推論など、一見関連性が薄そうな分野のモデルを組み合わせることで、より汎用的で強力なAIが作れるかもしれません。

私たちは、AIに単一のタスクをこなすことを期待するのではなく、様々な能力を組み合わせて、より人間に近い知性を持つAIを目指すべきなのかもしれません。この研究は、そのための重要な一歩だと言えるでしょう。

今後の展望

とはいえ、この研究はまだ初期段階です。より多様なタスクやドメインでの検証が必要ですし、モデルマージの理論的な理解も深める必要があります。

例えば、どんなモデルの組み合わせが効果的なのか、どんなタスクに適しているのか、体系的な知見を蓄積していく必要がありますね。また、モデルマージによって生成されたモデルの解釈可能性も重要な課題です。AIの判断プロセスを人間が理解できるようにすることは、AIの社会実装に向けて不可欠だと考えています。

でも、私はこの研究の可能性に大いに期待しています。特に、この手法を他のモダリティ、例えば画像生成モデルに適用することで、さらなるブレークスルーが起こるのではないでしょうか。

AIの世界は日進月歩です。この研究のように、新しいアイデアに挑戦し続けることが、より良いAI社会の実現につながるのだと信じています。私たちは、AIの可能性を最大限に引き出し、人類に役立てていく責任があります。そのためにも、こうした刺激的な研究を追いかけ、議論を深めていきたいと思います！