#unity #htcvive #バーチャルユーチューバー #DJ #ステージ演出

これは、リアルタイムでCGキャラと実写を合成し、配信を行う演出について、システム・演出制作者目線でまとめた記事です。
2020年6月23日に秋葉原mograで行われた 『LOST DECADE - HOME EDITION - Supported by Budweiser』での tomad (Virtual) 演出を軸に記載します。

『リアルタイム配信向け合成エンジン code:Dish』を開発

tomad (Virtual) のリアルタイム合成用に、Unityベースの『リアルタイム配信向け合成エンジン code:Dish』を開発しました。がんばった。

Dishの特徴は
・複数台のデジタル一眼レフカメラとの連携。
・現実のステージ用ライトとバーチャルライトとの一致。
・現実オブジェクトの前後関係をバーチャルへ反映（DJ卓など）。
・さまざまな演出をリアルタイムに操作。
・現実空間 ⇄ CG空間 の切り替え

目指したのは、本当にそこにいるかのように合成できる環境です。
他にも細かい機能はいろいろありますが、特徴的なのはこれくらいでしょう。今回はARkitが使えないので推定環境光も自力で実装しました。
Unityでできる表現を好きなように組み込めるのがいいところです。

今回のバーチャルDJのほか、バーチャルユーチューバーのライブ、現実のアーティストのライブ配信のリアルタイムCG合成、天気予報やバラエティの生配信も視野にいれて開発しました。
ライティングを一致させる仕組みなどは、メッシュスクリーンへCGキャラを投影する『初音ミク マジカルミライ』のようなステージにも使えそうです。

当日の動き

セッティング
リハ中にもコードを書いていた・・・。ギリギリだった・・・。

tomad (virtual)
常にチャット欄が盛り上がっていました。成功したと言って良いんじゃないでしょうか。tomadさんのDJが良かった。
経験値の高いスタッフが揃っていてほんとに心強かった。
ちなみに1時間半バーチャルトマドを操作すると、死ぬほど汗をかきます。次から着替えとタオルをもっていきます。

tofubeatsさんの配信に荒らしが来た
tofubeatsさんの配信中に荒らしが来て配信が落ちた。
ネットレーベルが主催だとインターネットっぽい事件が起きる…。
チャット欄が「これは陰謀だ！」と盛り上がっていたので、HOMEWORKチームから機転の利いたリクエストがあり、急遽バーチャルトーフビーツ出すことにしました。こういう動きができるいいチームだったな。

バーチャルトーフビーツというのは『陰謀論』のMV用にキャプチャしたトーフビーツさんの動きをする豆腐っぽいキャラクターです。

おもしろかった

狂った演出が思い切りできて楽しかった。バイブス大事ということがよくわかる。今後も狂った演出につかっていきたい。

今後

依頼は、ボクに連絡もらえれば、相談のれるとおもいます。
huezでもいいかも。

今回のイベントで課題も見えたので、今後も発展させていきたい。

締め

「code:Dish」の開発には、
ライティングとVJを担当したhuez、カメラと配信まわりを担当したHOMEWORKチームのみなさん、名前の出ていないスタッフの方々、それからtomadさんの協力が不可欠でした。ありがとうございます。このチームじゃないと、こんなにスムーズじゃなかったとマジで思います。
あとはインターネットに公開されている様々な知見。ありがとう~。

-Virtual tomad and Virtual tofubeats-
 『LOST DECADE - HOME EDITION - Supported by Budweiser』

DJ : tomad , tofubeats
Virtual Direction : REEEZND
Camera Switch and Effect Switch : スケブリ
Lighting Design (Real + Virtual) : huez
FilmDirection : HOMEWORK PROGRAM

補足。バーチャルトマドは『マルチネボーカロイドスクール』という配信番組から生まれた『ランク王国』的なキャラです。