ByteDance Researchが最近発表したBoximatorビデオコントロール技術は、ビデオ編集とアニメーション制作に前例のない精密さと柔軟性をもたらしました。この新しい方法では、ユーザーがビデオ内のオブジェクトを直感的に選択し、その終了位置と動きのパスを正確に描くことができます。Boximatorは、硬い箱（hard box）と柔らかい箱（soft box）の組み合わせを使用して、オブジェクトの動きを細かくコントロールし、Runwayのモーションブラシなどの既存技術を大きく上回ります。さらに、Byte自身が開発したPixelDanceビデオ生成モデルと組み合わされており、ビデオ品質と動きのコントロールの大幅な向上を示しています。

Boximator技術概要

• 硬い箱と柔らかい箱：Boximatorは、硬い箱（hard box）と柔らかい箱（soft box）の2つの制約メカニズムを通じて、ユーザーがビデオ内のオブジェクトを正確にコントロールできるようにします。硬い箱はオブジェクトの位置や動きの軌跡を厳格に指定することができ、柔らかい箱はオブジェクトが指定された範囲内で自然に動くためのより柔軟なコントロールを提供します。

• ビデオ生成モデルとの統合：Boximatorは既存のビデオ合成モデル、例えばPixelDanceに追加されるコンポーネントとして機能します。この設計により、Boximatorは元のモデルの能力を活用しつつ、新たな動きのコントロール機能を導入できます。

トレーニングと技術革新

• 重みの凍結とコントロールモジュールのトレーニング：元のビデオ生成モデルの知識を保持するため、Boximatorはトレーニングプロセス中にこれらのモデルの重みを凍結し、新たに追加されたコントロールモジュールのみをトレーニングします。

• 自己追跡技術：Boximatorは、選択されたオブジェクトを識別し追跡するプロセスを簡素化する、革新的な自己追跡技術を導入しました。これにより、トレーニングの効率と精度が向上しています。

成果と評価

• ビデオ品質の向上：BoximatorはFVD（ビデオ品質評価基準）において業界先端レベルに達し、ビデオ品質向上の能力を示しています。

• 動きコントロールの利点：包囲箱アラインメント指標の比較により、Boximatorはビデオ内のオブジェクトの動きを正確にコントロールする上での優位性を証明しました。

• ユーザーの好み：人間の評価結果から、基本モデルの出力よりもBoximatorによって生成されたビデオの方が好まれることが示されています。

まとめ

Boximatorは、ビデオ編集とアニメーション制作の分野における画期的な進歩を代表しています。この技術は、ビデオ内のオブジェクトの動きを未曾有の精度と柔軟性でコントロールする新しい可能性を開きます。Boximatorの導入により、クリエイターはより直感的に、そして制限なく自分のビジョンをビデオプロジェクトに反映させることができるようになりました。