はじめに

イラストレーター兼Live2Dモデラーの農家Vtuberのなつきちゃんです。
アドカレ12/22を担当します。

この記事ではVTSマイクロリップシンクセットアップについての
Live2DモデリングからVTSの設定までの
つまずきポイントを解説します。

あくまで私流の紹介記事になります。
よりよい方法があれば記事を更新しますのでご連絡いただけると幸いです。

記事最後に今回紹介する私のLive2Dモデルの口だけ出力したcmo3や、
VTSとLive2D公式レファレンスを記載していますので参考にしてください。

【マイクロリップシンクとは】

Live2D側であらかじめブレンドシェイプを用いた母音モデリングを行い、
VTS上でマイク入力の母音をキャリブレーションすることによって、リップシンクの精度が上がった機能です。

導入するメリット

マイクロリップシンク対応モデルにすることで従来のモデリングではちゃんと設定しているのに、VTSで運用するといまいちなリップシンクになりがちだったのを解消できます。

また、モデラー側には工数が劇的に減るなどのメリットはありませんが、
顧客満足度向上につながると思います。

【Live2Dモデリング】

・モデリング

従来のモデリングとは別で新たに下記のようなパラメーター設定が必要になります。
※VTS公式が公開しているサンプルモデルとは違うところが１つあります。動き出しを遅くしたいので、各母音の0.5はデフォルトの形にしました。

VTS公式のサンプルモデルでは重み付けがされていないため、VTSで動かすと破綻するようになります。

そこでlive2Dモデリングにてブレンドシェイプの重み付けが必要になります。

⚠注意⚠
VTSの爆発機能を受けて、破綻するような運用は関係者に極めて大きい不快感を引き起こされるのが明らかになりました。
ここからの調整不足がある場合、上記のような破綻が現れる可能性があります。
しっかりテストを行ってから納品してください。また運用側でもテストの上配信するように心がけるよう注意を促してください。
不意にこの破綻が出るとかなりビックリし、トラウマになるかもしれません。

またキーバインドで口を固定して喋ると必ず破綻するので、運用上の注意は忘れずに行ってください。

・ブレンドシェイプ重み付け

母音のa～oまで下記のように重み付けします。
母音系は全て右肩下がり、silenceはZにしてます。
※silenceは右肩下がりでもいい気がするのでお好みで試してください。

【VTSセットアップ】

モデラー側で設定したものを渡した方が、導入しやすいと思います。
ただしキャリブレーションは必ず運用側で設定が必要になります。

マイクロリップシンクを有効にする

画像の手順でマイクロリップシンクを有効にしていきます。
ポイント
〇それぞれの母音でキャリブレーション実行する
〇音量ブースト・音量しきい値・周波数ブーストを音素が黒反応するように調整する
⑤は好みで調整

設定は以上です。

ここまでお読み下さりありがとうございます。為になったと感じましたら当記事の拡散、Twitterのフォローよろしくお願いします。

【宣伝】

なつきちゃん式マイクロリップシンク対応cmo3

今回紹介したLive2Dモデルの口だけ出力した
cmo3ファイルをBOOTHで500円で販売しています。
参考にしてください。

Live2Dモデリングやイラストの案件を募集しています。
twitterのDMやHPの依頼フォームからお問合せ下さい。

参考資料

VTS公式のマイクロリップシンク解説ページ

中段あたりにサンプルモデルがあります。

Live2D Manuals & Tutorials
ブレンドシェイプの重みの制限設定

操作方法など詳細手順はこちらを参照してください。