見出し画像

【ComfyUI】動画からポーズを読み取ってアニメにするAnimateDiff v3のワークフローを動かす

AnimateDiff v3のワークフローを動かす方法を書いていきます。
上の動画が生成結果です。
必要なファイルはポーズの読み込み元になる動画と、モデル各種になります。

ワークフロー

Animate Diff v3 workflow

このjsonファイルがワークフローです。
ComfyUIからロードするとワークフローが読み込まれます。

モーションの元になるムービー

こちらを使用しました。
このワークフローでは、Load Videoノードに
/content/drive/MyDrive/mv_temp/asuna_dance.mov
とパスが設定されています。
置く場所が違うときは変更してください。

必要なモデル

つぎのモデルをComfyUIの起動スクリプトに追加。
ダウンロードします。

# 画像生成モデル/Checkpoints
!wget -c https://huggingface.co/digiplay/DreamShaper_8/resolve/main/dreamshaper_8.safetensors -P ./models/checkpoints/

# VAE
!wget -c https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -P ./models/vae/

# ControlNet
!wget -c https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/resolve/main/control_v11e_sd15_ip2p_fp16.safetensors -P ./models/controlnet/
!wget -c https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/resolve/main/control_v11p_sd15_openpose_fp16.safetensors -P ./models/controlnet/
!wget -c https://huggingface.co/crishhh/animatediff_controlnet/resolve/main/controlnet_checkpoint.ckpt -P ./models/controlnet/

# Motion Module
!wget -c https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_mm.ckpt -P ./custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

# Motion Module用LoRA v3_sd15_adapter.ckpt
!wget -c https://huggingface.co/guoyww/animatediff/resolve/main/v3_sd15_adapter.ckpt -P ./models/loras/

参考

このワークフローを元に微修正しました。


この記事が気に入ったらサポートをしてみませんか?