Appleは、Metaに倣って、自社の言語モデルOpenELMを完全にオープンソース化し、そのアプローチをさらに推し進めました。この新しいプロジェクトでは、270M、450M、1.1B、3Bの四つの異なる規模のモデルが公開され、モデルの重みから推論コード、さらにはトレーニングと評価の完全なフレームワークまでが含まれています。

OpenELMの特徴と機能

• モデルとフレームワークの公開: OpenELMは、小規模から大規模の様々なモデルの開発とトレーニングを可能にするため、CoreNetという深層ニューラルネットワークトレーニングライブラリも公開しました。

• パラメータ割り当ての効率化: このモデルは層ごとのスケーリング戦略を使用しており、Transformerモデルの各層でのパラメータ割り当てをより効率的に行うことができます。これにより、大幅な精度向上が図られています。

• 高い透明性と再現性: 全てのトレーニングと評価プロセスが公開されているため、研究の再現性と透明性が確保され、データやモデルの偏り、リスクの調査が容易になります。

関連ソース

論文

GitHub 

openELMモデルダウンロード

開発の背景と影響

• オープンソースへのシフト: Appleはこのプロジェクトを通じて、オープンリサーチコミュニティを強化し、研究者や開発者が自由に技術を利用し、イノベーションを加速させる環境を提供します。

• 研究と開発の促進: OpenELMの公開により、機械学習の研究者やデータサイエンティストが新たなアルゴリズムやアプリケーションの開発に役立てることが期待されます。

結論

AppleによるOpenELMの全面的なオープンソース化は、AI研究の新たなマイルストーンとなり得ます。この取り組みは、オープンリサーチのパラダイムを推進し、より進化したAI技術への道を開くことに貢献するでしょう。今後、OpenELMの影響を受けた新たな研究や開発がどのように進展するかが注目されます。