概要

ラグビーワールドカップの予測結果をふりかえります．

・ランキングポイントはそれ自体優秀．

・ワールドカップでは試合間隔を考慮することが重要．

本文

11月上旬に閉幕したラグビーワールドカップ(RWC)．2週間しかたっていませんが，なんだか遠い昔のようなつい数日前のようなふしぎな感じです．

さて，私は開幕前に予測をしていました．noteに書いてみたり，方々で散々発表したり，試合ごとに予測勝率をツイートしたり，していました．

予測したからには検証ですよね，ということで，本記事は予測のふりかえり，です．

比較対象

提案手法を二つ（後述）と，比較対象としてランキングポイントのみ(試合間隔を考慮しない)手法，およびファンの予測サイトの性能を測ります．

提案手法

・(P1)　過去の試合の予測正解率を最大にするように，試合間隔の影響をモデル化

・(P2)　過去の試合の得失点差との相関を最大にするように，試合間隔の影響をモデル化

比較対象

・(R)　ランキングポイントのみで予測モデルを構築

・(R4C)　Rugby4Castという，ファンが運営しているラグビー予測サイト．過去のテストマッチの得点などを利用．ランキングポイントおよび試合間隔は使用していない．

(予測方法が気になってメールしてみたところ，ファン数名が個人的に運営しているサイトと分かりました．私とはWebの技術力が段違いだ･･･)

性能評価

早速ですが性能評価です．

・Corrects：予測正解数．試合数は45試合．(ご存知の通り，48試合中3試合が台風で中止になりました．豊スタでオールブラックス，観たかった･･･)

・LogLoss：対数損失．全て勝率を0.5と予測したとき1で，小さいほど良い．

・Calibration：較正値．(優位チームの勝率の和)/(優位チームの勝利数)．1に近いほど予測勝率と実際の結果が近い．1未満だと優位チームを過小評価，1以上だと過大評価．

予測正解数はRugby4Cast様に軍配が上がりましたが，対数損失や較正値はランキングポイントと提案手法が優秀です．ランキングポイントはそれ自体で優秀な実力評価指標となっている事が分かります．イロレーティングの変種として設計されているので，やはり性能が良いなぁという印象です．

また，試合間隔を入れると損失がかなり改善されるので，RWCにおいて試合間隔が重要な要素であったことがわかります．

というのも，テストマッチやその集まりで構成されるような国際大会(シックスネーションズなど)は原則1週に1試合，かつどちらかのホームで行われます．ワールドカップは試合間隔が最短3日もありえて，かつ1カ国での集中開催という特殊な大会です．そのため，過去のワールドカップ4大会のみ(192試合)で構築したモデルのほうが大会の特徴をよく反映していたのかもしれません．

(P1)での，予測勝率と結果との関係を示します．

横軸は予測勝率，縦軸は実際の割合(上図)，および頻度(下図)です．

上図は予測勝率と実勝率が大体等しい(黒点線)結果であったことを示しています．下図は，そもそも実力差が大きい対戦が大半を占めている，言い換えるとRWCでは番狂わせが起こりにくいと予測されていたことを示しています．したがって，予測精度(正解率)は誰がやっても80%以上という高い値になりやすいため，この値の大小のみで予測手法のよさを測ることは不適切です．重要なのはそれぞれの対戦に勝率をどのように割り当てるのか？であり，それを反映しているのは対数損失や較正値などの指標です．提案手法ではこれらの値が改善されています．

試合単位での予測勝率を公開していたサイトをご存知でしたらお知らせください．公式ランキングや提案手法と比較したいと思います．