縦型MVコンぺ

現状

前回投稿からだいぶご無沙汰しています。
Blender習得の過程をアップするよ！と言いながら何も報告せず、早…２年？
しかし習得は着々と進み、昨年から3DCGの業務請負を開始するに至りました。

これまで委託いただいたのは、スポーツやイベント関連の3Dアニメーション映像。絵コンテ、モデリング、リギング、アニメーション、コンポジットまで全部1人でできる規模感のショートムービーです。

私のスペック(技術・知識・経験)の制限があるので、「なんでも来い！」とはいきませんが、"少しでも収益化しながら学ぶ"ということを重視しています。
従来やってきた映像制作の業務フローとは異なる点が多いので、
要所要所で確認を怠らないよう注意しつつやっております。

グランプリ＆アーティスト賞

さてこの度、Japan Vertical MV Contest 2023のグランプリ＆アーティスト賞に選出していただきました。
日テレさんとTiktokさん主催のコンテストです。

コンテストの特徴

• 縦型ミュージックビデオ

• 名曲"Wow War Tonight"のJO1さんカバーが課題曲

• 映像素材としてボリュメトリックデータ(テクスチャ付)の提供

• Tiktokへのアップ

• 制約がほぼないので門戸が広く開かれている

• 次世代クリエイターの発掘(この”次世代”は若いという意味ではなく、次世代ツールを使いこなすクリエイターという意味です。これは私も勘違いしていたのですが、TiktokJapanの方が仰られていたのであえて明記しておきます)

感想と御礼

インタビューや懇親会や経て、"自分の感情の言語化"が苦手なのだと改めて思いました。技術的なことならいくらでも話す典型的オタです。作品の解釈もあまり後付けしたくはないから何を話して良いかわからない状態に陥っておりました。
そんな苦手があるからこそ、全てをつくったものに込めたい欲求があるのだと思います。
そんな欲求の塊に対して「こんなに嬉しいことを言ってくれるん？」と思うほど、幾つも嬉しいツイートがありました。野生動物や虫の生態が元気の源だった私が、初めて"SNSに励まされた"という体験をしました。
Tiktokの方は怖くてコメントOFFにしてしまいましたが、きっと全く怖くなかったはず。主催の方に気を配るならプラットフォームをフル活用すべきでしたが、なかなか私にはハードルが高かったです。Tiktokさんごめんなさい。

審査していただいた上田さん、中島さん、関さん、JO1の皆さん、
一緒に戦った参加者の皆さん、同席したノミネートの皆さん、
主催の皆さん、とても親切だった事務局の皆さん、
そして、作詞作曲の小室哲哉さん、オリジナルを素敵に歌った浜田さん、
貴重な機会と素敵な体験をいただき、本当に本当にありがとうございました。

本稿について

さて、本稿では、そんな制作過程をざっくりご紹介したいと思います。
ボリュメトリックを利用した部分についてはまた後日。
今回はストーリー部分の制作についてのご紹介です。

ちなみに以降は完全に制作勢というか、Blender勢向けです。
JO1ファンの方にとって旨味は全くない記事ですごめんなさい。

制作環境

• MacBook Pro M1 Max

• Blender3.6

• Affinity Designer2

•  FinalCutProX

• Compressor

• MyEdit(台湾のWebAIサービス。ボイチェン)

• Mixamo

制作工程

下調べ

まず、下記のような洗い出しを行いました。

• コンペの目的は？
  ＝次世代クリエイターが発見・認知される場の提供、曲のPR、Tiktokがコンテストプラットフォームなり得るかの試み、ボリュメトリック等の素材提供がもたらすプロアマ問わないMVの新しい発展、etc.

• 曲の意図は？誰へ向けて？
  ＝日々戦う者への応援歌

• 歌詞の意味は？
  ＝挑戦(大小問わず)の肯定

• 聴き手が受け取る印象やメッセージは？
  ＝優しさと激励

• 歌い手はどういう人？
  ＝オーディションを勝ち抜き切磋琢磨する男性グループ

• ファンはどういう人が多い？
  ＝オーディション時の姿から勇気や励ましをもらい応援の気持ちも持った人、楽曲や歌唱力ダンスのクオリティに惹かれる人、ルックスのファン

• ファンはMVに何を期待する？
  ＝JO1と曲、双方への理解の深さと敬意が感じられるMV。シンプルにJO1メンバーを全面的に楽しめるMV。ダンスのキレを感じられるMVなど。

• 主催側で設けられた制作の制限(解像度,曲の使用制限,尺など)

• 成果物を載せるプラットフォームの制限(容量制限,尺など)
  （恥ずかしながらTiktokを使っていなかったので、まずは納品形式、というか投稿フォーマットを調べるところから着手。）

• 自分自身の制限(日程,予算,技術スペック,PC環境など)

軸

上記を踏まえて、では「MVでは何を軸とするか？」を考えました。
応援メッセージは歌詞自体から十分伝わってきます。
ならば、MVの存在意義は何か？
曲の解釈を広げる？歌詞の具体化？それは当然。
そこに１つ乗っけたい、と考えた時、
曲自体の"存在の作用"を示すことだと思いました。

一つの曲が歌い継がれるというのは、人間の、
時代を超えても変わらない部分に訴えるものがあるということ。
"挑戦"というキーワードで、人間として普遍的なことは何か？
それは、全ての人間は小さな挑戦から始まるということ。
歩く、食べる、話す、あそぶ、勉強する、はたらく、生きる、全て挑戦。
そういうのを全てひっくるめて応援する曲だということをMVにしたい。

以上を踏まえて、
1人の人間の小さな挑戦にこの曲がどう作用するのかを具体化する。
これをMVの軸としました。

あらすじ

そして、この軸の周りに肉付けを行いました。
あらすじですね。ほぼ固まった時のバージョンはこんな感じ。

あらすじを考えている段階で、なんとなくスケジュールと技術的な制約も頭の片隅に置いています。ここで無意識に切り捨てられてしまう表現や可能性はあるのですが、そういうぽこっと生まれたアイデアとかはメモっておけば無駄にはならないと思います。

絵コンテ・スケジュール諸々

あらすじをもとに、構成を兼ねた絵コンテにします。
要は、各カットで何を見せたいのかを具体的にする作業です。
と言っても、今回は自分が分かれば良いので落書きです。
どれくらい落書きかっていうと、

これくらい落書き。ちなみにらーめん。
(他者に見せる前提の時は、伝わることを重視して描きます)

同時に、キャラクターの声どうするかとか、
時間配分的にどの部分を既存モデルで補うか、とか
スケジュール感を見定めつつ、決めていきます。
この時点で締め切りまで約3週間。
結構しっかり割り振って、工程を省略していかないと終わらない。

ここで”全部自作モデルで”にこだわるかどうかは人ぞれぞれかと思います。
商業的感覚だと、"成果物を納期以内に"は原則なので、
うまく既存モデルを活用していくことも大切かと思います。
自作にこだわりすぎて自分を追い詰めて結局何も出来上がらない、みたいな悪循環は苦しいので。

ステージモデリング

BOOTHで購入したラーメン店ベースを利用して、足りない部分やパーツ、外部の建物などは、ゼロから作るか、以前制作したもの(主にGeoNodeで作っておいたジェネレータ)を利用。
ちなみにGeoNodeオタなので暇があればジェネレーターを作っている。
カメラワーク次第ではモデルの微調整が必要になると考えられたので、
なるべく非破壊的に作成。

キャラクターモデリング

Sketchfabで購入したベースモデルのパーツ交換。
Unity向けの一部モデルはTでもAでもないポジションで固めてリグが抜かれてしまっていたので、半分に切ってMirror効かせてじわじわと再調整。
最後はSubdivisionSurfaceを効かせながら全体的に輪郭調整。
全体を見ながら各キャラクターの特徴の差別化。
持ち道具＆衣装のモデリング。

ワールド設定

各シーンのワールドを設定。
シーン１は夜かつほぼ室内なので、ほぼブラック状態。
シーン２は全球の内側に他のお仕事で作った星空的テクスチャを貼り付けて、宇宙空間的なものを作成。

ライティング

ステージ照明(基本シーンを通してONの照明)とカット毎に設定した照明の配置。照度、光源角度、色、減衰などの設定。
あくまでも暫定的な設定でOK。

テクスチャリング

まず、少し霞んだコミック調にしたい、レンダリングを早くしたいという大前提があったので、レンダラーはEEVEE(filmic)にしました。
CGWORLDさんのToonShaderのコラムやYoutubeを参考に組んだ自前Toonもあったけれど、何か今回欲している雰囲気に足りない…と思ったら、ドットと斜線でした。よりコミック調というのか、少し懐かしい感じの。
SanctusのToonもちょっと違うなあ、と思っていたらStylizedShaderという期待通りのものがあったのでBlenderMarketにて購入。
思いのほか負荷も少なかったので、UV展開とベイクを省略して、そのままレンダリングすることに。

リギング

基本ARP(AutoRigPro)を利用してリギングしています。
が、一部はどうやらMixamoのリグがくっついていたようで、ARPでのRemapがうまくいかない。なぜだと思っていたらMixamo Rigのコントロールボーンが中途半端に残っていたからでした。
キャラクターモーションはオンラインで使えるMocapかMixamoに頼るつもりで、幸い動きの少ない構成なのでコントロールリグは無しでシンプルに。
ウェイトの微調整。
この時点で持ち道具とのコンストレインも設定。
顔ボーンはなしで、目と口のシェイプキー(アイウエオ,Happy,Sad,Anger)のみ設定して表情のコントロール。

カメラ

シーン毎にキャラクターファイルからLinkで引っ張ってきて配置。
各カットのアングルにカメラを配置して、キャラクターの立ち位置等確認。
この時点でiPhoneで録音した声を仮当てして、各カットに必要な秒数でカメラをスイッチングしていく。

ここでは縦型という点が大きく関わってきました。
頭の中で「映り込んでいる」と思っていたものが見切れていたり、
意図せずキャラクターの手元まで映ることで情報量が多くなってしまったり。想定外の時間を費やしたと思います。

キャラクターアニメーション

カメラの設定、キャラクターの立ち位置、スイッティングのタイミングが定まったら、細かい動きの設定。
前述の通り、MocapかMixamoという選択肢で、今回はMixamoにしました。

iPhoneで使えるモーショントラックは複数テストする時間がない、
SonyさんのMocopiは予算オーバー、という理由。
うーん。今考えると多少予算オーバーでも新規技術習得にトライすべきだったかもしれない。
まあ、ということで、

• 各キャラクターに必要な動きに近いものをMixamoで探す。

• モデルをMixamoにアップして、必要なモーションをアプライして、リグのみDL。

• そのリグをBlenderにインポート。

• ARPのRemapで、インポートしたリグからキャラクターリグへアニメーションを移す。

• Action Editorで無駄なキーフレームを削除して整理。

• グラフエディターでキーフレームの補完を微調整。

• その一連のキーフレームを保存してストリップ化。

• 上記を各キャラクターの必要なモーション分繰り返す。

• 絵コンテに従って、Nonliner Animation Editorで各キャラのモーションストリップを配置。リピートやスピードなどを設定。

カメラチェック

ワイヤフレームの状態でレンダリングして、吐き出した連番をFinal Cut Pro Xで並べてアニメーション全体を確認。
主に、カメラアングル、動きのタイミングをチェックして、不自然な動きや不必要な映り込みなどは調整を繰り返す。

エフェクト

今回はエフェクトらしいエフェクトはなく、
・ラーメンの湯気用にスモーク動画素材を円柱ポリに貼り付けて黒を透過してループ再生したものを作成。
・キャラクタの目の部分に貼り付く曲のタイトルのアニメーションは、ジオメトリノードで作成。
・酸素ボンベから噴き出すジェットは、テクスチャノード組んでアニメーションさせました。

アフレコ

ここでアフレコです。
もう宅録声優さんに頼む時間もないタイミング。
なんとなく予想はしていたけれど、自分で声入れるしかない。
声の種類は８人分。
FinalCutでの波長調整もあるけど、ツールとしては使いにくいし、MAのプロではないから時間がかかる上に満足のいく結果が得られる可能性が低い。
ということで、MyEditという台湾のAIサービスを利用しました。
しかも英語、日本語、中国語(Taiwaneseといった方が良いのか)に対応。
最後のシーンでは未来の自動翻訳感を出すためにさりげなく英語を入れたので、これは重要なポイントでした。
まあアフレコに関してはプロじゃないのでいうことはありません。
ただ、通常の声でアフレコしたボイチェンはAIを使っても限界があったので、おじさんの声は太い掠れ声にするためにウイスキーをあおって録りました。羞恥心も消え去った。

目と口元のアニメーション

上記アフレコをwavでBlenderに入れて、発声のタイミングに合わせてシェイプキーのキーフレームを地道に打っていく作業。大体5フレで１音くらい。
あくまでもカメラに写っている部分のアニメーションのみ。
立ち位置とアングルはFIXしている段階なので、不必要なアニメーションを作らずに済みます。
目の表情はそんなに変える演出ではなかったので、時間はかからず。

ライティング＆各カットのテストレンダリング

各カットの１フレームを試しにレンダリング。
暫定的に配置していた照明の位置・設定・ON/OFFタイミングの調整。
全体のルックスが期待通りか、隅々までチェックします。
各テクスチャの映り具合、影が濃すぎる箇所、明るすぎる箇所,etc.
EEVEEとはいえフルレンダリングには時間がかかるので、なるべく無駄打ちは省きたいのです。

コンポジット

今回、Blenderでのコンポジットノード使用は一切省きました。
通常、アウトプットのコントロールやビューレイヤーごとの調整等含めてコンポジットを通しますが、今回はマスクもないし目立ったエフェクトもない。ということで、カラコレはアウトプット後にFinalCutで行うことにしました。

レンダリング

お待ちかねのフルレンダリングです。
全体で2シーン17カット。正確にかかった時間は記録しておりませんでしたが、多く見積もっても20分くらいかなと。
この間Macさんで他の仕事とかはしないようにしているので、Udemyとか見ています。

編集

吐き出された各カットの連番をFinalCutでインポート。この時ライブラリに取り込むのではなくオリジナルフォルダからの参照にしておくと、局所的にレンダリングし直す工程で自動的に更新されるので楽になります。
各カットを複合クリップ化することで、カット毎のカラコレ・リタイミングがやり易くなります。
この段階でも１カット丸ごと削除したり、数フレーム削ったり。
女の子がグニャっと周囲に溶けていく感じのエフェクトもここで効かせています。

MA

音関連の作業です。
前述のアフレコデータを入れて、Blenderでアニメーション設定する際に置いていたタイミングに合わせます。
SEは、無料かつ著作権フリーのものを拾ってきて、環境音、人が発する音、演出音などを入れていきます。最初は当てをつけて放り込んで、徐々に厳密にタイミングを調整すれば良いと思います。
気になるノイズや不必要な音は削除。
今回は曲の課題がありますので、他のBGMは入れません。
最後に全体のボリュームを調整します。

完成

なるべく簡潔にご紹介したつもりでしたが、長くなってすいません。
以上が制作過程となります。
短納期のプロジェクトの一つとして参考になれば幸いです。