最近のモーションキャプチャーといえば、スマホなどのカメラのみで行えるものから、viveやmocopiなどのトラッカーを体に取り付けるタイプのものまで色々出ており、個人でも手を伸ばすことができるものが増えてきました。

アニメーション制作にも活用できるし、アバターとしてゲームやVRの空間を動き回ってリアルタイムでその場にいる人たちとのコミュニケーションに活用したり、Vtuberなどの配信でも画面内での演出に幅が出るようになったり、個人レベルでも多くの人が活用しています。

近年ではVRのプラットフォームをイベント開催の場として企業なども活用しており、そのようなところでもモーションキャプチャーは活用されています。我々も遊びに制作に配信に色々試しているところではありますが、下記はあくまで個人的な感想です。

カメラのみでトラッキング

カメラのみでできるモーションキャプチャーは、トラッカーのような特殊な機材を必要とすることなくできることが特徴です。有料版のソフトが必要なケースもありますが、数百円、数千円といったところですので、敷居はグッと下がります。（ただしカメラの性能や撮影環境の差でクオリティも上下する可能性はあります）

自分が使ったソフトは以下のVMC protocolが使えるものになります。

カメラは２台必要です。
TDPT：Sony α7Ⅳ ＋ 14mm（狭い場所でも全身が入る広角レンズ）
waidayo：iphone（顔トラッキング用）
TDPT用のカメラはスマホでも大丈夫ですが、自分はスマホが２台ないためソニーのカメラを使いました。

カメラタイプの良いところは、HMDはつけないくてよいので動きやすい、両手もコントローラーも必要ないというところが特徴です。

これの何が良いのかというのは、HMDがないことで表情のトラッキングもしやすくなり、両手もコントローラーを持つわけではないので、手の動きも指の動きにあわせてトラッキングできるようになります。
録画したものをPCなどで確認する際に、いちいちHMDやコントローラーを外す手間も省けます。（まあ2人でやれば解決する問題でもありますが）
また、収録済みの動画から動きをキャプチャできるソフトもあるので、究極カメラがなくても動画さえあれば、キャラクターに動きをつけることができます。

こちらで収録したものをOBSで合成するか、さらにblenderへ出力するなど、さらに動きに編集や加工を加えることもできるので、演出が必要な動画制作に向いているように思います。Vtuberの収録にも向いていると思います。素早い動きの対応が必要なゲームなどはちょっと厳しそうだなという印象でした。

あとは、撮影環境も少し考慮する必要があります。カメラから外れるとぐにゃりとなったりするので、全身が入る、または上半身のみ入る（手を左右上下のばしてもはずれない位置）などカメラ位置や撮影場所の広さ、動きを捉えやすいシンプルな背景などにも、トラッキングの精度に影響あるかもしれません。

トラッカーのみでトラッキング

vive

basestation×2、tracker×7で、10点トラッキングで使用しています。viveは一度設定してしまえば、トラッキングも長時間ズレることなく支えるので、HMDを使ったゲームやコンテンツに没頭できるのが良いです。トラッキングも精度がよいのですばやい動きや激しい動きもある程度正確に捉えることができている感じがします。

viveで10点トラッキングしてビートセイバーしてみた動画例。踊りながらプレイするなどによいですが、自分は10点トラッキングを活かしきれていない、、。棒立ちですが結構汗かきます。

mocopi

とても小さく装着も簡単で、設定やキャリブレーションも簡単です。ただ15分から３０分くらいでズレてくるので、ゲームなどの長時間のものには向かない気がします。最近のアップグレードで位置リセットボタンが追加されたので、多少解消されたとは思いますが、、。

Vtuberなどの収録スタイルのものであればすごく使いかって良い気がします。

トラッカーの難しいところ？

トラッカーもVMCなどからblenderに送ることもできるし、OBSで合成することで動画制作にも使えます。個人的にはPCでの画面でチェックをする際にHMDをいちいち取り外すのが面倒だったり、外した時にトラッキングがずれてしまうこともあったり、純粋に動きを作るというところに集中しにくかったこともあり。

また、手の動きや表情などの細かい動きをつける場合はちょっと手間がかかる感じも、何かいい方法ないかなあと模索中です。

トラッカーとカメラでトラッキング

Mocopi＋VseeFace＋Webcam Motion Capture＋iFacialMocap

それぞれのよいところを組み合わせてトラッキングする方法です。基本的な体の動きはVMCとmocopiでトラッキングし、手はWebcam Motion Capture、顔はiFacialMocap（またはwaidayo）でトラッキングします。
こちらもHMDをつけずにできるので、動きの確認なども手間がかかりません。それぞれトラッキングしたものをVMC protocolでつないで、VseeFaceにもってきて、OBS、またはblenderなどに出力します。

ただし、mocopiは設定も導入も設定も簡単ですが、前述の通りトラッキングが少しずつずれてきますので、15分に一回再度トラッキングまたはリセットボタンを押すなど、再調整が面倒でなければ、全身にある程度の動きが反映できるようになるのかなと思います。

もう一工夫したい

我々のコンテンツというか、3Dキャラとリアル人物という試みも兼ねて誰得番組的なものを作ってみました（後日公開）。3Dキャラについては上記のトラッカー＋カメラの仕組みでやりたかったいのですが、OBSのカメラ入力でリアル人物で使ってしまうため、カメラでトラッキングするVseeFaceやTDPTの併用ができません。

スイチャーなどの外部器機を使ってカメラ２台を扱うことはできるのですが、OBSのエフェクトを使いたいので、うーんと悩み中ではあります。

もう少し思考錯誤が必要です。