イーロン・マスクがもろもろの理由でOpenAIを訴訟しています。もろもろの理由は下記のNoteに詳しく解説しましたのでそちらをお読みください。

てな事でイーロンは「OpenAIという名の通り、データをオープンソース化しろ」と言っています。それに対して、イーロン製のAI Grokもクローズじゃないかとツッコミが入り、イーロンマスクはGrokを１週間以内にオープンソースにする。と明言しました。

そしてなんと、OpenAIはイーロン製Grokに先駆け、3 年も前に自社のGithubにGrokリポジトリをオープンソース化していた事が判明しました。
下記のリポジトリで制作日を確認する事ができます。

また、下記のGrokに対する学術論文もarxivに上がっており誰でも閲覧する事ができます。

この論文「Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets」は、小規模なアルゴリズムによって生成されたデータセット上でのニューラルネットワークの一般化について研究しています。具体的には、データ効率、記憶、一般化、学習速度に関する問題を詳細に検討しています。

著者たちは、ニューラルネットワークがデータ内のパターンを「グロッキング（深く理解する）」するプロセスを通じて学習し、その結果、一般化性能がランダムなチャンスレベルから完璧な一般化に向上することを示しています。また、この一般化の向上は、過学習のポイントを大きく超えた後でも起こり得ると述べています。さらに、データセットのサイズと一般化の関係についても研究し、小さなデータセットでは一般化を達成するためにより多くの最適化が必要であることを発見しています。

この研究は、深層学習におけるあまり理解されていない側面、つまり有限の訓練データセットの記憶を超えた過パラメータ化ニューラルネットワークの一般化についての洞察を提供します。このような小規模なアルゴリズムによって生成されたデータセットは、深層学習の一般化に関する研究にとって豊かな土壌を提供すると論じています。

論文は、一般化能力の向上というニューラルネットワークの能力に新たな光を当て、特に小規模データセットにおける学習プロセスの理解を深めることを目指しています。この研究は、機械学習の分野における重要な貢献であり、ニューラルネットワークがどのようにして高度な一般化能力を獲得するのかについての理解を深めることが期待されます。

ｘAIのGrokは17日にオープンソース化済み

また、つづいてイーロン・マスク製のGrokも17日にオープン・ソース化された事がブログで発表されました。

Githubのリポジトリはこちらです。

Grokのオープンソース化後もガンガン絡むイーロン

OpenAIが宿敵なんでしょうね。シリコンバレー全方向に絡んでいますが、テキサスに逃れたイーロンも、今やAI開発環境はカリフォルニアでしかできないと踏んで、AIについてはシリコンバレーに拠点を移しています。