機械学習 ✕ 数学 の頭の体操として、下記の問題を考えてみましょう。
確率の問題として考えてみてください。

【問題】

ある２クラス分類のタスクを機械学習で取り組んだとする。モデルの学習後、テストデータを用いて評価をしたところ、正解率 (Accuracy) が 81.0%、再現率 (Recall) が 90.0% という結果が得られた。このとき、 F値 (F-measure) も評価していたとすると、その値はいくらとなるか答えなさい。ただし、テストデータのうち10.0%が正例、90.0%が負例とする。

正解は 48.6% (18/37) になります。

アプローチはいくつかあり得ますが、解説では確率の公式を使って解いていきます。
※ Confusion Matrix を書いて考えてみるともっと簡単に解けるかと思いますが、頭の体操として…

【解説】

F-measure は Precision と Recall の調和平均なので、まずは Precision を求めることを考えていきましょう。

２クラス分類ですので、正例を t = 1, 負例を t = 0 とし、予測が正を y = 1, 予測が負を y = 0 と表します。

すると、まずテストデータの情報から下式が得られます。

更に、Recall と Accuracy の情報より下式が得られます。

また、求めたい Precision はベイズの定理を用いると下式で表されることに注意しておきましょう。

この分子の式はすぐに求まります。

一方、分母はいくつかのステップを踏む必要があります。