こういうのから、

こういうのまで、

「Warudo」でできちゃいます！！！

こんにちは、RUNE.です！
YouTubeでゲームや歌をはじめとした多様な配信を主な活動とする他、現在はフリーランスでインターネット配信の裏方として技術を全般的にやってます。

これまで活動では主に3Dアバターを使用してきたのですが、その中で様々なトラッキングソフトウェアを試してきました。
過去には同様に3D VTuber向けのトラッキングソフトウェアとして「Luppet」や「3tene」等を紹介する動画をYouTubeに投稿したり、Unityを使用してワンオペで3Dライブを行う等の活動もしてきました。

そこで今回は現在最も注目しているソフトウェア「Warudo」の紹介をします。
なんと、この「Warudo」一つで個人活動の3D VTuberがやりたいほとんどのことができちゃいます！！

この記事では「Warudo」の紹介と、チュートリアルとしてゲームや雑談配信用に表示した3Dモデルを映像をOBSに取り込むまでの手順を簡単に説明していきます。(丁度記事冒頭の動画みたいな感じまで)
よろしくお願いします！

Warudoとは？

「Warudo」は2023年7月14日に公開された3D VTubetr向けのストリーミングアニメーションソフトウェアです。開発はHakuya Labs

WarudoはSteamにて無料で公開されています。

Warudo1つで3Dキャラクターモデルの表示、モーションキャプチャー、3D背景や小物の使用、自由なカメラワーク等3D VTuberのやりたい大体のことができます。

とにかく自由度が高いので、冒頭の動画のような「雑談やゲーム配信向けに上半身(顔+手)だけをトラッキングする」ことから、「フルボディトラッキングを行って全身で3D空間でモデルを動かして自由なカメラワークで撮影する」までをこのWarudo1つでできちゃいます！

他にも、よりプロフェッショナル向けに機能が拡張された「Warudo Pro」が存在しますが、今回の紹介では割愛します。

3DキャラクターモデルにはVRoidでもお馴染みのVRM形式のモデルを使用できます。

対応しているモーションキャプチャーシステムとして、Mediapipe (Webカメラ),iFacialmocap (iPhone),VMC,mocopi,Leapmotion等昨今使えるものに幅広く対応しています。

更に、冒頭の動画のようにキャプチャーデバイスを使用したゲーム画面の取り込みなんかもできます。

日々アップデートを重ねて更に機能が拡張しているWarudoですが、SDKを使用して自分で新しく3Dの背景や小道具を追加したりプラグインの開発をすることも可能です。
自分で追加することが難しい方もSteamコミュニティ上で他のユーザーが公開している3Dアセットやプラグインを手軽に試せるようになっています。

また、公式のDiscordコミュニティが活発で、困ったことがあったり、できたものを共有すれば世界中のユーザーや開発者のTiraさんも気軽に反応してくれます！とりあえず参加しましょう！
(リンクはソフト内か公式webページからお願いします)

Warudoは個人利用無料です。

Warudoチュートリアル

ということで、今回のチュートリアルでは
・3DモデルをバストショットでWarudoに表示し、
・Webカメラを使用して表情と手のトラッキングを行い、
・背景を透過した状態でOBSに取り込むまでをやってみましょう！

🚥前提として

※Windows環境であること、3DキャラクターモデルはVRM形式であることとします。
※Warudoには初期状態で3Dキャラクターモデルと背景モデルが同梱されているので、とりあえず試したいって人もやってみましょう！！
※3Dモデルの表示、トラッキングを行うのでほどほど以上のPCスペックが必要になります。

⚙️Steamからインストール、起動

「Warudo」はSteamにて無料で公開されています。
上記のリンクから飛ぶか、直接Steam上でストアページに移動してWarudoをインストールします。
インストール～起動までは普通のSteamゲームと同じ要領なので割愛。

📖用語説明

実際に操作する前に今回のチュートリアルに出てくる用語を簡単に説明します。
なんとなくわかる方は飛ばして問題ないです。
(間違ってたら容赦無くツッコミください)

・メインウィンドウ：Warudo内のメインカメラの映像が表示されているウィンドウ
基本的にはこちらで表示されている映像をOBS等外部で取り込んで使用することになります。

・エディターウィンドウ：Warudo内の各種設定を行うためのウィンドウ

・シーン：3Dモデルや背景やトラッキングセットのこと
他のソフトで言うところのプロジェクトと同義。
モデル毎、ステージ毎、トラッキング方式毎など自由に保存できます。

・キャラクター：トラッキング可能な3Dキャラクターモデルのこと
WarudoではVRM形式のモデルの他、SDKを使用して用意する.warudo形式のモデルが使用可能です。

・モーションキャプチャー：カメラや専用の機器を使用して現実の体の動きをデジタル的に記録すること
記録した各種デジタルデータを使用して3Dモデルを動かします。

・環境(Environment)：3D背景のこと
・道具(Prop)：3Dの小道具
Warudoに標準で用意されているもの、Steamコミュニティに公開されているものを使用できる他、SDKを使用して独自の3D背景を読み込むこともできます。

・カメラ：3D空間を撮影するためのカメラ
3D空間内を自由に配置できます。カメラごとブルームや被写界深度やLUT等のポストエフェクトを設定可能で多彩な映像表現が可能です。
1つのシーンに最大8つのカメラを配置することができ、その内の1つをメインカメラに切り替えることで映像がメインウィンドウに表示されます。
各カメラの映像はSpoutやNDIで送信することが可能。

・Spout：映像をアプリケーション間で共有するためのシステム
同じPC内での映像の送受信は基本的にこれを使用して行う。(Windows専用)
他の方式に比べると軽快かつアルファ(透過)チャンネルが使用できるので、クロマキー等で背景を透過する作業が不要になります。
VNyanやVTubeStudioでも使用する。

・NDI ：ネットワーク経由で映像の送受信を行うためのプロトコル
同じネットワーク上にあるNDI対応ソフトや機器間で映像の送受信を行うために使用する。
Spout同様アルファチャンネルが使用できる。

・ブループリント：Warudo内のビジュアルスクリプティングシステム
コードを書くのではなくノードと呼ばれるブロックを繋げてプログラムしていく。
キャラクターのトラッキングの設定、カメラの移動、切り替え等、ソフト内で動くものはほぼ全てブループリントを作成する必要がある。

🐾Warudo起動

Steamから無事Warudoが起動するとメインウィンドウとエディターウィンドウの2つのウィンドウが表示されます。
以降基本的にはエディターウィンドウでの作業になります。
※エディターウィンドウが表示されていなかったり、閉じてしまった場合はメインウィンドウにフォーカスした状態でEsc キーを押すことでエディターウィンドウを開けます。

🔰初心者ナビを使用した基本設定

起動した状態のエディターウィンドウではこのような画面になっているかと思います。
まずは表示されている初心者ナビ上段の「基本設定」から始めていきましょう。
※「初心者ナビ」という名前ではありますが、新しくシーンを作成した場合やキャラクターやモーションキャプチャー方式を変更したい場合はまずこちらの「基本設定」を使用して設定を行うことをオススメします。
こちらを使用することで、モーションキャプチャに必要なブループリントの生成を自動で行ってくれるので非常に助かります。

👤キャラクターモデルの選択

まずは使用したいキャラクターモデルの選択を行います。
ご自身のキャラクターモデルを持っている場合は下部の「キャラクターフォルダを開く」をクリックして開くフォルダーにモデルのコピーを行います。
正常に追加されると「キャラクターを選択」のドロップダウンメニューから選択できるようになっているはずです。

今回は説明のため、同梱されているキャラクターモデルの「Shipilka」を使用して続けていきます。
無事キャラクターが表示されたらOKをクリックし、次の工程に進みます。

🕺モーションキャプチャーの設定

モーションキャプチャーを行うには使用するシステムごとにブループリントを作成する必要があるのですが、非常に手間です。
しかし、この設定を進めることで以下のようなブループリントを自動で生成してくれます。

細かい設定は生成後もできるので、
よっぽどの自信ニキでない限りはとりあえずお勧めしてもらいましょう！

次は使用するモーションキャプチャーの選択を行なっていきます。
今回はWebカメラを使用した顔と手のトラッキングを行いたいので、上の画像のように選択していきます。

「使用するカメラ」には使用するUSBカメラを選択し次の工程へ進みます。(使用するUSBカメラは後で変更できます)

次に各部のトラッキングの方式を選択していきます。
各部のドロップダウンメニューには使用可能なトラッキング方式が表示されます。

今回はWebカメラを使用した表情と上半身のトラッキングを行うので、フェイストラッキングとポーズトラッキングに「MediaPipe (カメラ)」を設定し、Secondary Pose Trackingは「なし」を設定し次の行程へ進みます。

😉表情のインポート

ここではキャラクターモデルから表情のblendshapeをインポートして、キーバインドを自動で割り振ってくれます。キャラクターを新規に読み込んだり変更した際にはインポートを行いましょう。

「表示をインポートします。」を選択し、OKをクリックするとインポートが開始します。

表情のインポートが無事終了すると、結果のダイアログが表示され各表情に対するキーバインドが表示されます。
※キーバインドは後でブループリントを編集することによって変更できます。

🌌背景の設定

次は背景の設定を行います。
今回はWarudoの背景を使用しないので、「透明な背景を有効にします。」を選択してOKをクリックします。

🎊基本設定完了

以上で基本設定が完了しました。

この段階ではメインウィンドウではこのように読み込んだキャラクターが表示されていると思います。
モーションキャプチャについても設定できたので、実際にWebカメラに向かえばキャラクターが動くことも確認できます。しかし、モデルの位置や方向がおかしいと思うので、次の工程でトラッキングのキャリブレーションを行いましょう。

✋😃トラッキングの調整(キャリブレーション)

エディターウィンドウに戻り、アセットタブから「MeiaPipeトラッカー」を選択します。

・顔の方向のキャリブレーション

「MeiaPipeトラッカー」の「フェイストラッキング」から、
正面にしたい方向を向いた状態でWebカメラに向かい「キャリブレーション」を押すことでキャラクターが正面を向くようになります。

・手の位置のキャリブレーション

「MeiaPipeトラッカー」の「ハンドトラッキング」から「キャリブレーション」をクリックするとこのような画面が開きます。
表示に従って顔の隣に手を挙げた状態でもう片方の手で「OK」をクリックすればキャリブレーション完了です。✋😃←こんな感じでやる

トラッキングがいい感じに設定できたら最後にWarudoのカメラを調整して、映像をOBSに取り込む準備をしましょう。

🎥カメラの調整

まずはエディターウィンドウのアセットタブから「ビデオカメラ」をの設定を開きます。
コントロール内の「コントロールモード」が「オービットキャラクター」になっているか確認し、メインウィンドウに移動します。

メインウィンドウに移動し、カメラの位置調整を行います
・ホイールで拡大縮小
・左右どちらかクリックした状態でドラッグすることで回転させることもできます。
・ホイールクリックした状態でドラッグするとカメラを上下左右に移動もできます。
※もしカメラが変になってしまったら、「カメラ変換をリセット」クリックすれば初期状態に戻ります

いい感じにカメラを調整できたら「基本プロパティ」内の「透明な背景」を「はい」に設定します。

これでカメラの設定は終了です。

🎬メインカメラの映像をSoputで出力する設定

最後にメインカメラの映像をSpoutで出力する設定を行います。

まずはエディターウィンドウ左下の肉球からWarudoの設定を開きます。

「一般」の「出力」から「Spout出力」を「はい」にします。これでWarudoのメインカメラの映像をSpout経由で送信する準備ができました。

💾シーンの保存

OBSに移動する前に、一度シーンの保存を行っておきましょう。

エディターウィンドウ左下の肉球から「シーンを保存する」をクリックすればシーンの保存が完了します。
※初めて作るシーンの名前は「DefaultScene」という名前になってますが、別の名前で保存したい場合は下の「シーンを名前を付けて保存」をクリックして、名前を入力してください。

OBSへの映像の取り込み

それではようやくカメラの映像をOBSに取り込んでいきます。
後の作業は慣れている方も多いと思いますのでサクサクいきましょう！

Spoutを使用した映像の取り込み

OBSへ画面を取り込むためにウィンドウキャプチャやゲームキャプチャやNDI等方法を色々思いつくかもしれませんが、とりあえずSpoutを使いましょう。

Spoutを使用する利点としては、
・他の方法と比べて負荷が軽い
・背景を透過した状態で画面を取り込める
・UI等の余計なものが映り込まない
が挙げられます。

VSeeFaceやVNyan、VTubeStudioなんかでも使用するので、インストール済みの方もいるかと思います。

Spout2をOBSで使用するためには以下のobs-spout2-pluginをインストールする必要がありあます。

下記GitHubページ右のReleasesから飛んで
OBS_Spout2_Plugin_Install_v〇〇.exeをダウンロード後インストールします。

obs-spout2-plugin
https://github.com/Off-World-Live/obs-spout2-plugin
https://github.com/Off-World-Live/obs-spout2-plugin/releases/tag/v1.8

インストール後、OBSを起動してSpoutの映像を表示したいシーンのソースに＋ボタンからSpout2 Captureを追加します。

追加した時点でWarudoのメインカメラの映像が表示されている場合もありますが、プロパティを開きます。

今回はSpout2 Captureのプロパティでは3つの項目を以下のように設定します。
SpoutSender：Warudo
Compsite mode：Default
Poll time for new senders：fast

これでOBSにWarudoのメインカメラの映像を背景を透過した状態での取り込みの設定が完了しました。

あとは自由に配置していい感じに画面を構成しましょう！！

おわりに

以上Warudo紹介と、簡単なチュートリアルでした。
軽い気持ちで書き始めたんですが、気が付けばこんな長文に…！😅
折角なので動画も作成してYouTubeに投稿しようと思います。

今回はゲームや雑談配信向けのチュートリアルとして説明しましたが、Warudoではもっとたくさんのことができます。
既に3D VTuberな方もこれからなってみたい方も、気になったらまずはSteamからダウンロードしましょう！

触ってるうちに困ったことがあれば僕でわかることであれば答えるのでお気軽に連絡ください。
冒頭でも述べましたが公式のDiscordコミュニティが活発なので、とりあえず参加して損はないです！

また、公式のマニュアルが非常に充実しているので、こちらを読み進めていくことでも大体のことが解決します。

その他何かあれば連絡ください。
各種フォロー、チャンネル登録もよろしくお願いします！
Twitter:https://twitter.com/runechaan　YouTube:https://www.youtube.com/RUNECHAAN