研究者らは、深層強化学習（Deep Reinforcement Learning: Deep RL）が、ダイナミックな環境において、低コストで小型の人型ロボットに高度で安全な動作スキルを生み出すことができるかどうかを調査しました。研究者らは、20個の関節を持つロボットに、Deep RLを用いて簡略化した1vs1のサッカーゲームをプレイさせる訓練を行いました。まず個々のスキルを訓練し、その後、セルフプレイの設定で複雑な動作に構成しました。

その結果、迅速な転倒の回復、歩行、旋回、キックなどの強固な運動スキルや、それらの間のスムーズな移行を示す政策が得られました。また、エージェントは基本的な戦略的理解を深め、単純な報酬を用いてボールの動きや相手のシュートを予測しました。

トレーニングはシミュレーションで行われ、実際のロボットにゼロショットで転送されました。高周波制御、ターゲットダイナミクスのランダム化、トレーニング中の摂動によって可能になりました。ロボットの脆弱性にもかかわらず、ハードウェアのわずかな修正と規則化によって、敏捷性を維持しながら安全で効果的な動きを実現しました。このエージェントは、長期的な目標を達成するためにスキルを組み合わせながら、スピードと効率でスクリプトによるベースラインを凌駕しています。

エージェントが動物や人間のように物理的な世界で敏捷性や器用さ、理解力をもって行動することを可能にする一般的な具現化知能の創造は、AIやロボット工学における長年の目標です。高度な運動能力を持つ知的な体現型ロボットは、シミュレーションと実世界の両方で長年にわたって研究されており、最近では学習ベースのアプローチにより進歩が加速しています。

深層強化学習（Deep RL）は、全身制御やマルチエージェント行動など、シミュレーションキャラクターの複雑な運動制御問題の解決に成功しています。ダイナミクスや物理的制約をブラックボックスとして扱い、タスクや振る舞いを直接最適化することで、Deep RLは一般性、拡張性、適応的でロングホライズンな振る舞いを合成する能力を提供します。

近年、深層強化学習（deep reinforcement learning: deep RL）は、物理ロボット、特に四足歩行の脚式ロボットに適用され、幅広いロバストなロコモーション動作を生成することができるようになりました。多くの研究は、本質的に安定している四足歩行に焦点を当てていますが、いくつかの研究は、安定性と安全性に関する追加の課題をもたらす二足歩行やヒューマノイドのロコモーションやその他の動作にも取り組んでいます。

Deep RLの応用例としては、クライミング、ドリブルやキャッチボールなどのサッカースキル、簡単な操作のための脚の使用などが挙げられます。報酬の指定が難しく、ダイナミックで機敏かつ安全な動作という相反する目的を両立させる必要があるため、実際のロボットで実行可能な、構成可能で安全な洗練された長周期マルチスキル動作を作成することは、依然として困難な問題です。

サッカーは、人間の感覚運動知能の多くの側面を示すものであり、様々な状況において俊敏でダイナミックな動き、予測、協調を必要とします。ロボカップ競技は、このような動作がロボット工学や人工知能にもたらす課題を浮き彫りにしています。

深層強化学習(ディープ RL ) は、強化学習(RL) とディープ ラーニングを組み合わせた機械学習のサブフィールドです。RL は、試行錯誤によって意思決定を行うことを学習する計算エージェントの問題を考慮します。Deep RL はディープ ラーニングをソリューションに組み込み、エージェントが状態空間を手動でエンジニアリングすることなく、構造化されていない入力データから意思決定を行えるようにします。. Deep RL アルゴリズムは、非常に大きな入力 (ビデオ ゲームで画面にレンダリングされるすべてのピクセルなど) を取り込み、目標を最適化するために実行するアクション (ゲーム スコアの最大化など) を決定できます。深層強化学習は、ロボット工学、ビデオ ゲーム、自然言語処理、コンピューター ビジョン、教育、輸送、金融、医療など、さまざまな用途に使用されています。