はじめに

ご無沙汰しております。
仙台でエンジニアをしています @takwat です。
このエントリは はじめてのIT勉強会Advent Calendar 2021 の14日目となります。

例のウィルスの影響で昨年来あらゆる体験のオンライン化が進み、その流れは2021年も終わりが見えてきた今でも体感的にはあまり変化はなく・・・

はじめてのIT勉強会はこの11月に本当に久しぶりに仙台でのオフラインを交えた開催に踏み切っていますが、現在でもコミュニティ主催の皆さまも「いつオフラインを解禁するか」で悩んでいるそうです。

さて、昨年、【はじめてのIT勉強会】オンラインイベントを楽しむ工夫 と題してバーチャル背景にオンライン名刺の画像を貼ったらいいかも？という記事を書きましたが、今年はもう少し(間)違った切り口でのオンラインイベントへの参加をしてみましたので、その体験をもとに書いてみたいと思います。

見えすぎちゃって困るの(再)

バーチャル背景によって、自宅の生活感あふれる風景を晒すという羞恥プレイは避けられることになったのですが、もともとが写真とかも苦手でなるべくそういうシーンでは避けていたクチです。
さわやかな背景に自分の顔というのがどうにもしっくりこないというか。
かといって自分だけカメラオフも何か味気ない。

そこでおじさんは思ったのでした。

そうだ、VTuberとして参加しよう

すべての元凶となったPCの新調

本業につられる形で趣味でもBlenderやUnityなどで3Dグラフィックを扱う機会が増え、これまで愛用していたMacbook Pro Early 2015も電源ケーブルがボロボロになるなどの限界を感じてきていたため、GeForce RTXを搭載したWindows ノートPCを新調しました。
我が家ではデスクトップよりハイスペックになってしまったのは内緒です。
ある意味でこれで地獄の釜の蓋が空いてしまったとも言えます。

必要なもの(ハードウェア編)

Webカメラ

フェイストラッキング(頭や目、口などの動きに合わせてキャラクターの頭を動かしたりや表情を変化させる)に使います。
そこまで本格的なものじゃなくてもノートPCについているものでも問題はないはずです。

マイク

リップシンク(発言に応じてキャラクターが口パクする)に使います。
これもそこまで高いものじゃなくてもボイスチャットが普通にできる程度のもので問題はないです。

ちょっと強めのパソコン

上記のカメラの画像やマイクからの入力を処理して3Dキャラクターを動かしつつ、その映像をリアルタイムでキャプチャしてカメラ画像として送信するということで若干強めのパソコンが必要になります。
CPUもさることながら、なるべく専用のGeForceやRadeonなどのGPUが載っているマシン推奨です。
AppleのM1チップもいけるかもしれません。

ヘッドフォン(オプション)

パソコンからのファンの音が「気になる」どころではないレベルなのでノートPCでやろうとしてる場合は必須だと思います。

必要なもの(ソフトウェア、データ編)

VRM形式の人物モデル

あなたの分身となるキャラクターです。
もちろん自作もできますが、

■THE SEED ONLINE
https://seed.online/

■Vroid Hub
https://hub.vroid.com/

■ニコニ立体
https://3d.nicovideo.jp/

といった3Dアバター共有サービスを通じて利用することも可能です。
ライセンスや制限事項に注意して使わせていただきましょう。

今回の例はVroidのベータ版に同梱されていたアバターサンプルAさんを使わせてもらいました。

トラッキングソフト

Webカメラやカメラの入力をアバターのアクションに反映してくれるソフトウェアです。
列挙するだけでも

■3tene
https://3tene.com/
■VDRAW
https://sites.google.com/view/vdraw/
■VMagicMirror
https://malaybaku.github.io/VMagicMirror/
■VSeeFace
https://www.vseeface.icu/
■Kalidoface 3D
https://3d.kalidoface.com/

といったプロダクトがあります。
価格や機能、対応しているセンサーでお好みでお使いください。

ここではVSeeFaceを使っています。
片目ずつのまばたきや表情の検出はできないものの、頭のトラッキングやリップシンクが自然なのと、グリーンバックなどを用いずとも背景を透明にできるのが使いやすかったです。

VSeeFaceでモデルを読み込んだところ

OBS Studio

https://obsproject.com/ja

多くの配信者が使っている録画やライブ配信用ソフトウェアです。
OBS Virtual Cameraという機能があり、OBSからの出力内容を仮想カメラとしてOSに認識してもらう機能があります。

この画面では背面にプレゼンテーションや自己紹介などの背景の画面取り込み、VSeeFaceの画面をその上に合成、その映像を仮想カメラとして出力しています。
ZoomやGoogle Meetなどへの映像ソースはいつものカメラではなく、この仮想カメラに設定することになります。

概念図

実際やってみて

何度かこのような形で受肉してオンラインイベントに参加してみましたが、これはオンラインならではの参加方法ではないでしょうか。
初見でのインパクトはやはり大きいようで、映った瞬間でアイスブレイクのネタになりえるかもしれないという手ごたえを感じました。
とあるイベントでは、現場猫として参加したことがありましたが、画面を見ていた他の参加者のお子様にウケたこともありました。

ここではビジュアル面のインパクトに焦点をあてましたが、しょうたさんの 【はじめてのIT勉強会】2021年、音声合成技術がすごい話（実例あり） も合わせると夢が色々と広がりそうな気がします。

おわりに

参加する場の空気をよく読み、用法・用量を守って正しくお使いください.。

去年、今年とオンライン参加ならではのハックをお伝えしましたが、例のウィルスの状況により、今後はイベントも一定数オンライン参加枠も確保しつつメインはオフラインへ回帰が進んでくるのではないかと予想しています。

オフラインにはオフラインならではの楽しさもありますし、特に「はじめてのIT勉強会」はその名の通りはじめの一歩目として足を運ぶのに最適なのでご興味を持たれた方はぜひ臆することなく参加してほしいと思っています。