画像生成系のUIはいくつか種類があるようで、
有名なのはStable Diffusion WebUI（AUTOMATIC1111）と、
今回触ってみたComfyUIではないかと思う

どんな感じ？と聞かれたら↓こんな感じというほか無い。

画像は、StableVideoDiffusionを動かしてみている例になる。
各種パラメータや依存関係がぱっと見でわかって非常に明瞭。

ノードベースのUIということで、ある程度処理フローを組めるのが最大の特徴ではないかと思う。
例えば、SDXLと組み合わせて吐き出した画像をそのままSVDで動かしたり、
ContorollNetを繋げて、複数画像を結合させたりできるらしい。

Unityと格闘していてあまりちゃんと触れてないので、
せめてインストール方法だけでも紹介しておく…

インストール方法

とはいえ、今回はラッキーなことに公式のReadmeに従えばちゃんと動いた。昨今なかなかそうも行かない事が多い中ありがたい…

Windows由来の仮想環境を切るところが多少苦戦したのと、
GPUとPytorchがうまく繋がってなかったので再度入れ直したぐらいで動いてくれた。

SVD導入

ついでなのでSVDの導入も少しだけ…

SVDのmodels を ComfyUI/models/svd/にダウンロード

• svd.safetensors - Download

• svd_image_decoder.safetensors - Download

• svd_xt.safetensors - Download

• svd_xt_image_decoder.safetensors - Download

SVDの生成グラフをコピー

ComfyUIのグラフを「Clear」でクリアしてから、以下のページにあるwebpファイル（image_to_video.webpとか）を画面にドラッグ&ドロップすると、冒頭に貼ったグラフが出てくるので、あとはお好みで動画生成を楽しめる。

保存がwebp形式だったので、MP4とかに出来ると嬉しいけどよくわからず…諦めて手元で変換してるけど、いい方法があったら差し替えたい。

パラメータいじって遊んでたらなかなかダイナミックがなのが出来て満足