最近、ICAARTというエージェントと人工知能に関する国際会議にて下記の研究を発表してきたのですが、この研究を通して得られたサッカーのシミュレータ構築に向けた知見を共有したいと思います。

Keisuke Fujii, Kazushi Tsutsui, Atom Scott, Hiroshi Nakahara, Naoya Takeishi, Yoshinobu Kawahara, Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations,  International Conference on Agents and Artificial Intelligence (ICAART 2024) [arXiv] 

この研究は、実世界のマルチエージェント運動の手本から強化学習シミュレーションを構築することを目指して行われました。サッカーでは以前にnoteに投稿した、データから強化学習モデルを用いて選手評価を行う研究（Nakahara et al. 2023）のシミュレーションへの拡張に当たります。強化学習シミュレーションといえばGoogle Research Football（Kurach et al. 2020）が画期的だったのですが、現在の主流はエージェント同士で対戦して最も強い強化学習アルゴリズムを考えることにあり、実際の選手に似た動きを生成するための研究はあまり行われてきませんでした。

根本的な課題としては、実データからモデル化するためのパラメータが不明という点で、シミュレーションでは仮に設定する必要がありますが、その間にギャップが存在します。この研究では、強化学習からマルチエージェントの手本の行動に関する適応的な教師あり学習という単純な方法で解決しました。 強化学習での手本の行動を選択する際に、動的時間伸縮（DTW）の最小距離に基づくことで、報酬を獲得する能力だけでなく模倣も同時に行うような学習を目指しました。

検証では、追跡逃避課題（図）およびサッカーの2vs2と4vs8課題を使用して、既存の手法よりも効果的に模倣と報酬獲得の両立を達成することを示しました。特に、追跡逃避課題では、単純に模倣しても解決が難しい問題設定においても（追跡者が手本よりも遅くなるシミュレーション環境を設定しました）、お手本を状況に合わせて選択して学習することで模倣と報酬獲得を両立しました（図）。ただし、サッカータスクでは、シュートやパスなどのアクションと同時に動きを再現する課題に直面し、改善の余地を残しました（11vs11で行わなかった理由としては、以前のnoteで説明したように、また強化学習では難しい点があるからです）。

スポーツ分析に関心のある方々にとっては、この研究は非常に基礎的な位置づけになりますが、私たちは、その先に実際の試合のデータに基づくシミュレータ構築を目指しています。シミュレータ自体は、選手の状態と行動を入力として、次の状態を出力する状態遷移関数ができれば、これ以外の方法でも構築できます。例えば、完全にデータ駆動的な方法（例えば以前noteで紹介した深層学習ベースの方法：染谷ら, 2024）や、上記のGoogle Research Footballなどで実装される強化学習などの手法でも構築自体はできますが、「実際の選手に似て、上手な」運動を長時間実現するにはまだまだ課題があると感じています。この研究では、非常に単純なシミュレータを使用したため、「上手な」動きを生成することはできませんでしたが、今後はすでにある「上手な動き」を生成するロボカップ2Dシミュレーションなどを用いることで、より「実際の選手に似て、上手な」シミュレータ構築を目指していきます。

このシミュレータができれば、専門家の頭の中で行われる予測が再現できるため、監督の采配や、戦略立案、選手の成長、およびファンが試合をもっと楽しむための方法となる基盤として活用されることが期待されます。また、データ分析面からは、現在試合の選手位置データやイベントのデータを取得するのに多大なコストが掛かりますが、シミュレータによりデータ取得コストを大幅に削減し、大量の学習データを手に入れることも期待できます。これらは現在行っているゲーム理論とAIでサッカー分析の革新に挑戦するクラウドファンディングのプロジェクトにも密接に関連しています。大量のデータで学習したモデルに分析したいデータを適応させることで、実際に興味のある試合のデータを分析でき、プロに限らず多くの人に活用してもらうことも想像しながら、これからも研究を続けていきます。

クラウドファンディングは2024/3/14まで行っておりますので、応援のほどよろしくお願いいたします！