この研究論文は、大規模なオフラインデータセットから多タスクポリシーを学習するためのスケーラブルな強化学習方法について述べています。

この方法は、Transformerを使用して、オフラインの時間差分バックアップを通じてトレーニングされたQ関数のスケーラブルな表現を提供します。この手法はQ-Transformerと呼ばれます。

Q-Transformerは、各アクション次元を離散化し、各アクション次元のQ値を個別のトークンとして表現することで、Q学習のための高容量のシーケンスモデリング技術を効果的に適用します。

オフラインRLトレーニングで良好な性能を発揮するための複数の設計決定について説明し、Q-Transformerが、大規模で多様な実世界のロボット操作タスクスイートにおいて、以前のオフラインRLアルゴリズムや模倣学習技術を上回ることを示しています【7†source】。

導入

ロボット学習方法は、大規模かつ多様なデータセットと高容量の表現モデル（例えばTransformer）を組み合わせることで、幅広いタスクでうまく機能する一般化可能なポリシーを獲得する可能性があります。

これらのポリシーは、自然言語の指示に従ったり、マルチステージの振る舞いを行ったり、さまざまな環境、オブジェクト、ロボットの形態に広く一般化することができます。

しかし、これらの高容量モデルは、従来は監督学習法で訓練されており、結果として得られるポリシーの性能は、人間のデモンストレーターが提供できる高品質なデモンストレーションデータの程度によって制限されています【8†source】。

背景

強化学習（RL）では、マルコフ決定プロセス（MDP）内で期待される総報酬を最大化するポリシーを学習します。価値ベースのRLアプローチは、トータルの割引リターンを表すQ関数を学習します。

オフラインRL設定では、何らかの未知の行動ポリシーによって生成された遷移やエピソードのオフラインデータセットにアクセスすることが前提となっていますが、トレーニング中にオンラインの相互作用を行うことは想定されていません【9†source】。

Q-Transformer

Q-Transformerは、オフラインQ学習のためのTransformerモデルを使用するアーキテクチャです。このアーキテクチャは、離散化と自己回帰を適用してTransformerアーキテクチャとTD学習を可能にすること、特定の保守的Q関数レギュラライザーを導入してオフラインデータセットからの学習を可能にすること、そしてモンテカルロとnステップリターンを使用して学習効率を向上させることの3つの主要な要素に基づいています【10†source】。

学習効率の向上

データセットに良い軌跡（例えばデモンストレーション）と劣った軌跡（例えば自動収集された試行）の両方が含まれている場合、モンテカルロリターン推定を利用してQ学習を加速することは、大きな性能向上につながる可能性があります【11†source】。

実験

実験では、Q-Transformerがデモンストレーションと劣ったデータの両方から学習できるか、他の方法と比較してどのような性能を示すか、Q-Transformerの特定の設計選択がどの程度重要か、Q-Transformerを大規模な実世界のロボット操作問題に適用できるかを検証しました。

実験結果は、Q-Transformerが人間のデモンストレーションを上回り、自動収集された劣ったデータを有効に利用できることを示しました【12†source】。

制限と議論

Q-Transformerにはいくつかの制限があります。まず、このフレームワークは成功または失敗に対応するスパースなバイナリ報酬タスクに焦点を当てています。

また、アクションの次元ごとの離散化スキームは、より高次元の設定（例えばヒューマノイドロボットの制御）ではより複雑になる可能性があります。最後に、この研究はオフラインRL設定に焦点を当てていますが、Q-Transformerをオンラインの微調整に拡張することは、より効果的な自律的な複雑なロボットポリシーの改善を可能にするための興味深い今後の研究方向です【13†source】。