こんにちは！AIディレクターのながいっつです。

大規模言語モデルを利用した最新のAI検索プラットフォームを提供するvectaraは、GPT-4やGeminiなどの回答の正確さを調査し、ランキングとして発表しました。

最新情報はvectaraのGitHubで公開されています。

ChatGPTが上位を独占する結果に

GitHubで公開された最新のランキングはこちらです。

1位に輝いたのは「GPT-4」で、その正確さは97.0%です。

GPT-3.5 Turboが96.5%とそこまで差がないんですね。1～3位はChatGPTが独占する結果となりました。

続いては、何かと話題になったGoogleの「Gemini Pro」が95.2%で第4位にランクインです。全モデルの「Palm 2」の正確さが87.9%なので、かなりスコアを上げているのがわかりますね。

2024年の注目は！？

2024年の注目はなんといっても「Gemini Ultra」ではないでしょうか。

数学・物理学・歴史・法律・医学・倫理などの57科目の項目でのですと結果でGPT-4を超えるスコアを出したとの発表もあり、その性能の高さに期待が集まっています。

Gemini Proで第4位と考えると、Gemini UltraはGPT-4を超えてくる可能性も十分にありますね。

また、GPT-4.5もリリースがウワサされていたので、Gemini UltraとGPT-4.5の争い、そして他社がどう割って入るのかが注目ポイントになると思います。

2023年だけでこれだけ進化したので、2024年の今頃はどのようになっているのか想像がつかないですね！