ゆめかわサイバー作曲家　バーチャル＆リアルYoutuberのPicatrixです！
2021年、今回はUEで初！MVを作ったのでやったことを記事にしました！

まえがき

2月に公開したウィンターワンダーランドのオリジナルアレンジですが、
Unreal Engine 4.26を使用してミュージックビデオを作成しました！

※あくまで超初心者&コード書けない人間のメモなので、
用語や方法が間違っている可能性もあります。参考程度に読んでもらえたら幸いです。

8月頃にUEを触り始めて猫でも分かる UE4を使ったゲーム開発でゲーム作りの超初歩的な部分をまず勉強しました(まだ途中なのですが…)

3Dモデル(アバター)について

リアル系のグラフィックに対応するために2019~2020モデルからアップグレードしました。顔の前後の頂点や目の粘膜の作り込みが荒かったので3ヶ月ほどかけて修正&テクスチャもテコ入れしてます。

ヘア用のマテリアルは無料アセットのParagon:shinbiのものを調整して使っています。天使の輪がきれいに出て良いですね。
※モデルの細かいことは、別の記事にまとめてのせる予定です！

作業時間圧縮！自分の部屋と土地を用意する

都度曲に合わせて新しく土地を作っているとすごく大変なので
作業時間を圧縮するため、オリジナルの土地を考えました。

家の構想をホワイトボードに描いた図
(杖や小物のデザインをするときは大体紙かホワイトボードに描いて
一旦アイディアをまとめてます)

草がボーボボ

SF映画の「ジョン・カーター」みたいなイメージで作ってます(あそこは一帯砂漠なんですが)
最初に庭をどう整えたらいいのかわからず、草を生やしまくってボーボーになったのですが、庭の作成ソフトや実際に庭園を見に行ったり、庭の紹介動画を見てイメージを固めました。
※landscapeにfoliageで草を生やすと楽なんですが、撮影で使うのは庭の景観くらいです。
庭だけ個別にスタティックメッシュを置きました。

ちょっとわかりづらいですが、高低差を出してイングリッシュガーデン風にしようとしています。

冬の庭

春の庭　※桜の木　Rostic Ostafi様　https://sketchfab.com/RosticOstafi
和傘　Nana Laboratory様　https://booth.pm/ja/items/2052638)

主に使ったプラグイン

・はるべえさんの VRM4U
・ハルクさんの VMC4UEとUEOSC

これでバーチャルモーションキャプチャーのモーションを
直接のアンリアルエンジンのレベル上に配置したモデルに送信できるようになります。
※バーチャルモーションキャプチャーのモーション送信はFANBOXの先行版が必要です

表情のトラッキングには、バーチャルモーションキャプチャーと連動できるソフトで「Waidayo」を使用しています。
※iphoneX以降で使える、細かく表情が動かせるアプリ。

UEの機能livelinkfaceでも細かく顔を動かせますが、使い慣れているwaidayoですべてのモーションを送信出来る方がラクだと思ったのでwaidayoとバーチャルモーションキャプチャーを使用しました。

使用上の注意
VRMの表情を設定する際に、「AIUEO」のシェイプキーを入れた状態でも
waidayoやばもきゃでは問題なく表情が動作するのですが、
Unreal Engine に持ってきた際に
「A,I,U,E,O」が入っていると口がきちんと開かないので、
VRMMapにある「A,I,U,E,O」スロットの中身を削除すれば動きました。

これで口がきちんと開くようになりました

困ったこと

★ライティングをビルドする際に、｢swarmに接続出来ない｣というエラーが出た。

→原因を特定したいので、撮影で使っていたMapを複製して、レベル上に置いた怪しいマテリアルが設定されたメッシュを消し、ライティングをビルドして様子を見ました。
原因はテクスチャをいじったUEアセット(マーケットプレイスから落とした)だったので、新たに設定したマテリアルがよくなかったのかも…

★VRの根本的な問題で、撮ろうとしたときにVIVEトラッカーの充電切れてる

常に制作に追われているので充電を忘れることもしばしば…

こればかりは一括充電が出来るWalkOVR待ちなので対策しようが無いんですけれども、有志の方が制作されているVIVEBatteryInfoというアプリを立ち上げて充電状況をチェック出来ます

細かいバッテリー残量がわかって便利
撮影前にキャリブレーションを行いますが、まずその前に一旦これを起動して充電忘れをチェックします。(作業中ウィンドウの全体図です)

★TakeRecorderで収録したモーションを使いたいが、Takeフォルダ内のレベルシーケンス(Scene1_○○)をシーケンサーにD&DするとRootが修正できない

アニメーションを扱うにあたってRoot位置(つまり立っているポジション)の修正が必須なのですが、
Take recorderで収録後の[Scene1_○○]と名前がつけられたファイルは読み取り専用で修正が出来ません。
Takeフォルダの中にアニメーションシーケンスファイルがあるので、それを使っていきます。

ファイルの場所
Cinematics/
└ Takes/
└ 2021-01-24(日付の階層)/
　　└ Scene_1_22_Subscenes/
　　　└Animation
　　　　└モデル名_Scene_1_22(アニメーションシーケンス)

歌のパートをぶっ通しで長めに(5分とか…)Take recorderで録ったら
重すぎてファイルがなかなか開けません。
該当のアニメーションをダブルクリックで開いたら、圧縮アイコンを押します。※アセットメニューからやる方法もあるようです。

圧縮できるとはいえ開くのに相当時間がかかるので、TakeRecorderを使う際は出来るだけ短くレコーディングした方がいいかもしれません。

続いて圧縮したアニメーションを使います。

1.まずビューポートに該当のモデルのSkeltalmeshを配置します。
2.配置したら選択状態で、シーケンサーにD&Dします。
3.シーケンサーにモデル名のトラックが表示されるので、
モデル名の横にある+を押し、出てきたメニューからアニメーションを選択します。
これでアニメーションを使いつつRoot位置が修正できます。

★レベルシーケンスが重くて開けずにフリーズする

「Take recorderでぶっ通し撮りした長い(数分Take」をシーケンサーウィンドウにD&Dすると長い読み込みの後に正常に動くのですが、保存がうまくいかなかったりと
※きちんとした軽量化方法があると思うので、情報収集して使いやすいプロジェクトにしたいと思います。

★ライティングのビルドが長い

レベル上に沢山オブジェクトを置いている影響かと思いますが、とにかく長いです。待っている間は別のことをして待ってます。これも軽量化できると思うので色々模索したいです。あとUE5に期待。

★シーケンサー上でSkyBPを時間経過させたいがやり方がわからない

Historiaさんがブログで紹介しているSun Position Calculator Pluginというものがあります。

緯度と経度、日時を入れて日周の指定ができるのでとても便利です。

これをうまく利用すれば時間経過の再現が出来そうだったのですが、
作業が長引いていることもあり、プラグインを有効にしてレベル上にBPをするだけにとどめました。

動画内で時間経過を表現しているシーンがありますが、
日中、マジックアワー、夕方、夜と、それぞれライティングベイクしてシーケンサーで出力したものを動画編集ソフトでクロスフェードさせています。
次回以降必要なときに手軽に出来るようになりたいです。

★参照の計算が重い…

シーケンサーでアニメーションを追加しているとき
ふとベッドの形を変えたくなってオブジェクトごと削除すると、参照の計算がはじまり、なかなか終わらず時間ロスになることが多くありました…

プロジェクト自体が重いこともあると思うのですが、
シーケンサーをウィンドウを閉じた状態でオブジェクトを追加したほうがいいかもしれません。

🙌今回できるようになったこと

・VRM4Uで取り込んだモデルにアニメーションをつけてシーケンサー上で扱えるようになった・髪、角膜、肌のマテリアルの調整が出来るようになった
・UE4でMVが作れた

👍次にやりたいこと

・モーションの修正
・モーキャプ時の自分への負担を減らす
・手に物を持つ
・モーションに対して表情をキメ打ちする
・絵コンテ最初から最後までビッチリ描く(しっかりやらないと二度手間になる)
・朝昼夜の景観を分けておく(ベイクが大変すぎた)

最後に

モデルの更新やwaidayo導入したこともあり今回は表情のキメ打ちをしなかったのですが、次回以降は挑戦してみたいと思っています。

UEはエディターも見やすくとても楽しいのでまだの方は是非触って見てほしいです★
次回はインスト曲のMVを作成予定です。絵コンテ書かねば…

ではまた！