Catchyでワールドカップの勝敗予測をしてみた

2022年11月20日からカタールでFIFAワールドカップが始まりました。

日本の初戦は11/23(水)22:00からです。

既にサッカー好きの間では、どの国がグループリーグを突破するのかの勝敗予測で盛り上がっていることと思われます。
その中には、選手単位での戦績など様々な指標を元に精度の高い勝敗予測を行なっている分析系のAIも存在しています。
AIツールのCatchyでも、期間限定でワールドカップの様々な予想を解説する生成ツールを、11/22からワールドカップが終了するまでの間にに合わせて公開予定です。

ジェネレーティブAIで勝敗予想は出来るのか？

Catchyは、巷で最近よく言われるようになったジェネレーティブAIに含まれるテキスト生成AIモデルのGPT-3を活用したサービスです。
本来、GPT-3はLLMと呼ばれるテキスト生成用のAIモデルであって、データに基づく分析的な結果をアウトプットすることは実は苦手です。

ただし、かなり定性的な言い方ですが、GPT-3は意見を述べることがかなり得意です。
例えば、「ブロックチェーンとは何か」を述べさせるよりも、「ブロックチェーンは今後どのような進化をするか」を述べさせたほうが面白い文章を生成することができます。

元々、こうした発散的な文章生成が得意という背景があって、GPT-3はCatchyをはじめ広告などのクリエイティブな文章生成に使われていたりします。

今回は、意見を述べることが得意なGPT-3の特性を活かして、データ分析的ではない側面からワールドカップの予想を試みてみます。

グループリーグの勝敗予測結果

早速ですが、こちらがCatchyが予測した各グループの順位です。
残念ながら、日本は最下位という予想がなされてしまいました。

【手法】リーグごとに30回予測

Catchyでどのように予測したかですが、各グループごとの勝敗予測を30回Catchyで実行し、その平均の結果から上記を導き出しています。
例えば、1位の予想をした30回分の結果は下記になります。

グループAの1位予想(30回試行)

グループBの1位予想(30回試行)

グループCの1位予想(30回試行)

グループDの1位予想(30回試行)

グループEの1位予想(30回試行)

グループFの1位予想(30回試行)

グループGの1位予想(30回試行)

グループHの1位予想(30回試行)

結果をFIFAランキングと比較してみた

Catchyから得られた結果を、直近のFIFAランキング(2022年10月6日)と比較してみました。
※国名の後ろに記載している数字がその国のFIFAランキングです。

FIFAランキングと比較してみると、かなり手堅い順位予想をしていることが分かります。
日本が1位の確率が0%ということに関しては、運営チームの立場としてCatchyの予想が当たってほしい気持ちと、日本人の立場としてこの結果を覆して日本が1位になってほしい気持ちのカフェオレです。