Think & Craftでエンジニアをしている朝倉です。

Think & Craftでは、2024年2月21日に発売された櫻坂46 8th Single「何歳の頃に戻りたいのか？」アートワークのテック面を担当させていただきました。

この記事では我々が担当したテック面の技術解説をします。

システム構成

撮影時のシステム構成は以下のようになっています。

櫻坂46メンバーの前面に配置した透過スクリーンと背面の壁に映像を投影し、透過スクリーン越しにカメラマンが撮影しています。投影する映像はメンバーとカメラに装着したトラッカーから取得するトラッキング情報をもとに、動きに合わせて桜の花びらが舞う映像をリアルタイムに生成しています。

トラッキングシステムにはAntilatency、リアルタイム映像生成にはUnity、トラッキング情報や映像の制御・調整にTouchDesignerを使用しています。

メンバーやカメラマンのカメラに取り付けたAntilatencyのトラッカーから無線LANでトラッキング情報がOSCでTouchDesignerに送信されます。トラッキング情報はさらにUnityにOSCで送信され、Unityでそれをもとにリアルタイム映像を生成しています。生成した映像はNDIでTouchDesignerに送信し、TouchDesignerからプロジェクターに映像を出力しています。

Antilatencyによるトラッキング

Antilatencyは赤外線マーカーのついたマットを敷くことで任意の場所・広さでトラッキングを行うことができるトラッキングシステムです。トラッカーについているカメラがマットの赤外線マーカーを認識し、トラッカーの位置や向きを推定します。

今回の撮影では、一辺60cmのマットを20×16(12.0m×9.6m)、計320枚敷きました。トラッカーはジャケットアートワークで確認できるようにメンバーの指先などに装着しています。

トラッカーは衣装の中に隠したRaspberryPi Zero 2 WにUSB接続しており、Raspberry Piを経由して無線LANでトラッキング情報を送信しています。Raspberry Piはモバイルバッテリーから給電しています。

Antilatencyのマットの赤外線マーカーは通電確認用に緑色のLEDが光るのですが、カメラに緑の光が映り込んでしまうのを防ぐために粘土でLEDを覆い光が見えないようにしています。

Unityによるリアルタイム映像生成

メンバーが装着しているトラッカーの位置から桜が舞うように見せるために、カメラマンが利用するカメラにもトラッカーを装着し、バーチャルプロダクションのインカメラVFXと同じようにカメラから見たときに破綻のない映像をUnityで制作しています。実装には以下の記事を参考にしています。

具体的にはUnity上に撮影現場と同じ位置関係・スケールで前後の投影面を模した平面オブジェクト、メンバーに装着したトラッカーの位置から舞う桜のエフェクト、カメラマンのカメラと位置・向き・焦点距離を合わせたバーチャルカメラを配置しています。バーチャルカメラは前面投影用と背面投影用で2つ配置し、被写体より前にあるエフェクトは前面に投影され、後ろにあるエフェクトは背面に投影されるように調整して桜のエフェクトを撮影します。撮影した映像を投影面を模した平面にカメラマンのカメラから投影テクスチャマッピングで描画し、投影テクスチャマッピングした平面をさらに平行投影カメラで正面から撮影しています。この映像を現実のプロジェクターで投影しています。

これは検証時の映像ですが、指先のトラッカー位置からエフェクトが出ており、前後2つの投影面を利用することで手を前に回すと前側に、後ろに回すと後ろ側にエフェクトが回り込むように見せています。

桜のエフェクトはVFX Graphで制作しました。撮影時には現場での調整に臨機応変に対応するために、ビルドせずにUnity Editor上で実行している映像をNDIで出力しています。

そして出来上がった作品がこちら。
通常盤＋初回ABCDの5形態に使用されています。

ティザー用に制作されたこちらの映像もぜひご覧ください。

新メンバー募集中！
Think & Craftでは一緒に働く仲間を募集しています。
ご興味のある方はお気軽にRecruitページよりご連絡ください。

Think & Craft 公式SNS 
X：https://twitter.com/thinkandcraft
Instagram：https://www.instagram.com/_thinkandcraft/
Facebook：https://www.facebook.com/thinkandcrafttokyo/
YouTube：https://www.youtube.com/@thinkandcrafttokyo

Think & Craft Webサイト