3D Scan Studio iris の Fullbody Scan Rigで撮影したRAWファイルをキャリブレーションし、OpenEXR（ACEScg）を生成。
キャリブレーションされたOpenEXRを元にしてフォトグラメトリの手法ではなく、postshotでgaussian splatting(PLY)を生成しました。

生成されたGaussian SplattingをAfterEffectsプラグイン(Postshot / irrealix gaussian splatting）で読み込み簡単なサンプルムービーを作成してみました。

【フォトグラメトリ】では不可能な「透明のビニール傘」と「背景」とが完全に分離しているのが衝撃的です。
フォトグラメトリと比べるとマテリアルの解像感はだいぶ低下してしまいますが、Gaussian Splattingは目的に応じて使い分けることで強力な表現を提供できそうです。

【postshot作業メモ】

今回postshotは最新のβ版v0.3.99を使用しています。現在このバージョンは一般的なJpegなどのsRGB素材を使用した場合処理前のリニアライズ？や焦点距離混在に起因する明度の飽和が生じる場合があります。

今回のこのサンプルは16bit floatの焦点距離が混在したOpenEXR118枚を使用してSplatを生成しました。
あらかじめリニアガンマに変換している場合はpostshot v0.3.99においても明度の飽和が生じませんでした。

【色味について】
今回AE側でplugin (Postshot / Irrealix Gaussian Splatting）を使用してsplatsをインポートしましたがインポート直後はほぼ同一の色でした。

【ダイナミックレンジ】
AEのプロジェクトbitは8/16bitではsplatの1以上のピクセルがクリップしているようでした。
32bit floatに変更すると若干ですが高輝度部分のクリップが復元し32bit対応プラグインを使用して明度の復元が可能です。

【splatの画質について】
汎用性でいうとクロップ等の後処理可能な「Irrealix Gaussian Splatting」が便利で「Postshotプラグイン」は機能はシンプルですが、若干画質が良いようです。

【スケールについて】
Irrealix Gaussian Splattingのほうがsplatを読み込んだ際に小さく、AlignScaleを191%くらいにするとpostshotと同じような大きさに揃います。双方ピッタリ重なる精度はありませんが、スケール調整のみでほぼ一致するので大きなポジションのズレは無いようです。

【GPUメモリ消費】
Postshotプラグイン経由3レイヤー、Irrealix Gaussian Splatting1レイヤー仕様のコンポジションでGPUメモリは9GB以上使用しています。今後圧縮タイプのsplatフォーマットが普及したとしても作業時はかなりのGPUメモリを常に消費しそうです。

【PostshotプラグインとAEの互換性】
PostshotプラグインはAE2023でないと動かないかもしれません。こちらのWindows環境ではAE2024では動作しませんでした。

#gaussiansplatting #ガウシアンスプラッティング #ACES #aftereffects #unity #unrealengine #vfx #cgi #3dスキャン #3dscanstudio_iris #iris #3dscan #3dscanstudio #3dscanstudio_jp #toho_studio #fullbody3dscanning #レスパスビジョン #lespacevision #tokyo #japan