前書き

先日VirtuCameraというツール(iOSアプリ)を導入したので備忘録としてまとめておきます。大変便利

アプリについての概要

このアプリについてざっくり説明するとこのアプリはiOSアプリPC側のMaya(あるいはBlender)アドオンをPCにインストールしてスマホを仮想カメラトラッカーとして使えるようにするもの。

導入の動機・使用感

僕がこれを導入したのは3D系、特に実写合成の効率化だったり作業の簡易化のためなのだけれどBlenderチュートリアルがYoutube、Twitterに溢れている今これ知っておいたら役に立つんじゃね？(の割に記事だとかネット上の記事が少ない)ということでひとつ記事を書いてみた。
使用方法だとかについては後述するのだけれど大筋としてはアプリをソフト側と接続してスマホを一眼等撮影機材に取り付けて操作すればあとは思うままなのでかなり易しい、モーションだけ収録したいならスマホとパソコンだけでいい。
作業の簡易化、効率化と書いたけどこれは実際実写合成を行う際にBlenderのデフォルトの手段であるカメラトラッキング(動画を読み込んで設定するとカメラワークを解析してキーフレームにしてくれる)の設定の部分や扱いというのが少々複雑でそこでVirtuCameraを使うとソフトと接続してアプリで収録開始ボタンを押すだけでいい、と結構な手間を省ける。(もちろん詳細なオプションだったりはあるけれど)
ただ現状スマホ単体でのモーション収録には対応しておらず、BVHやFBXでjモーションデータを書き出してそれを後でソフトで読み込んで〜みたいなことはできないので動作には基本というか絶対ソフトウェアが必要となる。

使用手順

前提

前置きはこれくらいにしておいて本題である操作方法について基本的な流れ・動作画面説明・よくある(ありがちな)トラブル、の3つに分けて触れていこうと思う。(本記事ではWindows版Blender2.93/iPhone7(iOS 14.1)を使用して進めていく)
アドオン導入など基礎的な操作については割愛、スクリプトやネットワーク系については詳しくないので誤りや説明不足があるかも。

0-1 接続-アドオン導入

Virtucamera公式サイトからOSに適したアドオンを導入直後時にサイドバーにVirtuCameraというタブが出現する、ここを開くとこのような画面が開く。
アドオンを導入したことでPCソフト側に得られるUI的変化はこれくらい、接続する際は「Start Serving」ボタンを押すとQRコードが表示されそれをアプリ側のQRコードリーダーで読み込むとスマホアプリ側での接続操作ができるようになる。(接続終了時はその下の「Stop Serving」ボタンで接続解除)

0-2 接続-QR読み込み

アプリ側では接続したことのないデバイスに接続する際は「Scan QR Code」ボタンを押しPCソフト画面に表示されたQRコードを読み取り接続する。
PC、iOS端末どちらも同じネットワーク内に存在しておかないとうまく接続できないようなので注意
一度接続したデバイスは2度目以降では起動時の画面に自動的に表記されるようになるのでソフト側でStart Servingボタンを押した後は一覧から選択すれば接続できる(もちろんQRコード読み取りでも接続できるよう)

0-3 接続-カメラ選択

接続後仮想カメラとして使用するソフト状のカメラをアプリ内のカメラをドラムロールで選択して操作画面に移る。
ただここでBlenderのシーン内にカメラが存在しないと何も選択できず、その画面ではオブジェクトの更新は反映されないのでアプリでこの画面に移る前にカメラを用意しておく必要がある、またカメラ名についても2byte文字(日本語など)には対応していないので1byte文字での命名が必要である点に注意！

1-1 操作画面(ほぼ割愛)

操作画面のUIについてはアプリ内のヘルプに記述があるので割愛、ただ「position scale (カメラのサイズ、スマホを動かした時の移動距離などに影響)」「LOCK (xyz軸いずれかの動きをロック)」「SMOOTH (動きの手ぶれ補正などに影響)」など様々な設定があるので注意して欲しい。
特に実写合成だとSMOOTHの設定をミスっているとせっかく収録した動画と噛み合わない！などなるので気をつけて欲しい 僕はこれで何度かソフトウェア側でトラッキングを回しました。

使った所感と問題点だとか

使った所感は機能の一つとしてキーフレームの収録はできるけど自身の環境では細かい手振れが発生するのでスムーズな動きを構築したいといった際はアプリ内SMOOTHをうまく使う・収録モーションに後で手を加える・収録後にモーションのキーフレームを手動で削ってイーズだったり新規キーフレームだったりでええ感じ(魔法の言葉)に手を加える、といった手法を取るほうが良さそう？
モーション収録と同時に撮影した動画を合わせてみると少しズレがあってこんな感じ、なので割とサクッと使うみたいな感じでシビアなシーンには保険くらいの気持ちで使用した方がいいのかもしれない。

ただこのソフト、クセというかハードウェア実装上の課題のようなものがあってカメラが回転するなどのシチュエーションにおいて弱く、スマホ中心でのトラッキングで動いているのでカメラ上部(z-upなのでz軸が高さ)に付けてx/y軸回転を行うと途端にズレたりするんですよね。
これは恐らくというかほぼ確実にx/y軸回転時にカメラ中心に回転させてしまうとカメラでは座標が変化していなくともスマホ側ではスマホ中心で処理されているので「角度と同時に座標も変化している」と捉えられてしまうからなんですよね。
なのであまり回転するカメラワークに弱くそこは気を遣ってあげないとなぁ、って感じなのです。
という弱点があるので僕は最近ハンドメイド・手ぶれの際に限定して使用してあげています。

ただこれ似たことやろうとしてVIVEトラッカーとか買うとそれこそいきなり万とか飛ぶので手頃なセンサーの塊(しかもみんなの手元にありがち)を使ってカメラトラッキングできるようにしたのはすごいなぁ、という感じ。
気になってる人はそんなに高くないし一度使ってみてもいいかも。