ここ最近は共同研究先と毎週打ち合わせをしているため、実装->実験->分析->資料作成をハイペースで回しています。一見忙しそうに見えますが、機械学習の実験は全てマシンがやってくれるので、隙間時間を見つけながら自分の興味のある論文を読んでいます。

JSAAのアナチャレに一緒に参加した筑波大蹴球部のスコット・アトムくんが参加されていたMIT Sloan Sports Analytics Conference（MIT SSAC）に投稿された論文から、「Going Inside the Inner Game: Predicting the Emotions of Professional Tennis Players from Match Broadcasts」を紹介したいと思います。

論文の内容としては、タイトルである「試合映像からビッグ4の感情を予測する」というところが1番しっくりきます。例えば、フェデラーはあまり感情の起伏がないことや、ジョコビッチが得点前に"いらいら"や"心配"をみせると、得点のオッズが増加するという面白い予測結果が得られています。

1. モチベーションとデータセット

テニスというスポーツは、試合全体の80%が準備時間であるようで、”テニスはメンタルの試合だ”と言われています。また、他のポピュラーなスポーツでも、"メンタル"をトレーニングの対象として捉えることも増えてきているなか、選手の感情を分析・予測することには大きな意義があります。また、今回予測する感情は"focus"、"fired up"、"elation"、"dejection"、"anxiety"、"annoyance"、"anger"の7つです。

今回扱うデータは、テニスの全豪オープンの試合映像から、OpenFaceという顔認識ソフトウェアを使ってトリミングされた選手の顔画像データとなっています。全選手のデータで学習は行なっているようですが、今回はテニス界でビッグ4と呼ばれているフェデラー、ナダル、ジョコビッチ、マレーのデータを使って考察を行なっています。また、正解感情データはAmazonのクラウドソーシングを使って収集しています。

2. 提案手法

提案手法のフレームワークは以下のようになっており、「特徴抽出」部と「感情予測」部に分けられます。

特徴抽出部では、前述のOpenFaceが算出する表情に関する17の特徴（FAU）と、その主要な特徴から予測される基本的な感情（FACS）を抽出します。

次に感情予測部では、上記の2つの特徴を入力として機械学習の様々な手法（SVM、判別分析、Neural Network、Boosting、bagging、正則化つき回帰モデル）で学習を行い、精度最良なものを用いて予測しています。（パワープレイ!!!）

3. 実験結果と考察

70%を訓練、残りの30%をテストデータとして学習と評価を行なったところ、全体的にはSVMの予測精度が高いという結果になりました。また、全豪オープンのビッグ4のデータに対して予測された、感情の割合を下に示します。各選手で感情の割合が異なり、例えばナダルはよく"anxiety（心配）"だったことや、フェデラーは逆に"focus（集中）"や"neutral（自然）"であったことを表情から予測しています。

次に得点前や得点後は感情がどのように起伏しているかも分析しています。Reactiveが得点後、Predictiveが得点前で、縦軸の値が大きいほど、その感情が予測されたときの得点のオッズが高くなるということを示しています。感情の高まりが大きいというマレーは得点後に"elaction（喜び）"を示すことや、ナダルが"anger（怒り）"や"annoyance（いらいら）"を得点前に示すと得点のオッズが下がっています。

4. サッカーに応用するならば

山本昌邦解説員がよく試合終盤に「感情の高まり！」なんてことを言っていますが、果たしてどうなん？って思うことが多々あります。逆に「冷静にプレーしろ！」と言うコーチもいますが、熱くなっているときにいいプレイができる選手だっています。でも１つだけ言えることは、感情の起伏がプレーの質に直結することは間違いないと言うことです。footballistaでも「決定力不足は脳内で起きている」なんて記事もありました。選手時代は一応センターフォワードだった自分はGKとの1vs1が大の苦手で１つ外すと、それからシュートを打てなくなるなんていう、メンタルの弱い選手でした。（それでよく試合に出られたな笑）そういった選手の感情の起伏を試合映像から分析して予測できれば、メンタルコーチのような人からよりよい指導ができるのではないかと考えました。

#論文紹介 #スポーツ #テニス #データ解析 #感情