見出し画像

ComfyUIで動画から動画をつくる…最も簡単で確実な方法(ノード)

ここからは、ComfyUI をインストールしている方のお話です。
まだの方は…


「ComfyUIをローカル環境で安全に、完璧にインストールする方法(スタンドアロン版)」を参照ください。https://note.com/mv_factry/n/nb3d488bc2a2a



■まずは・・・

以下の機能拡張をインストールし、必要に応じてmodelやimage encodersを所定の場所にダウンロード(手動の場合もあり)してください。
※各ノードのgitページを参照してください。
が…ReActor Node for ComfyUIとComfyUI_IPAdapter_plus はインストールする際に、よくエラーが出ます。(エラーでインストールできないことも)
ので、先にReActor Node for ComfyUI,ComfyUI_IPAdapter_plusをインストールし、エラーが出ないか確認することをお薦めします。
→ので、テスト用のノード用意しました(以下、参照ください)
■よくあるエラー
→insightface,onnxruntime,cv2に関連するエラーが多い
 対処方法は各カスタムノードのgitページにあるIssueやインストールの方法
 を参照してください。
→ReActor Node for ComfyUIをインストールしたら、先にインストールした
 はずの他のカスタムノードを認識しなくなった。(これ多いです)
 ConfyUI manegerでアンインストールも更新もできない場合は、
 ConfyUIを閉じ、custom node フォルダから該当のフォルダごと削除し、
 再度、ConfyUI manegerからインストールしてください
→「ffmpeg」関連エラー
 「ffmpeg」が入っている(pathが通っている)か確認してください。
 「手動でインストールした方」「入ってないよという方」「入れたのに
 認識されない(pathが通っていない)」「入っていない」という方は、
 「ffmpeg インストール パス通す」でググってインストールし、pathを
 通してください。
 その時はCドライブ直下にインストールするほうが何かと便利だと思い
 ます。(A1111を併用している方など)
 あと、pathを通すのは「ffmpeg.exe」のあるフォルダです。

■必要な拡張機能ノード(ConfyUI manegerからインストール)

■必要なmodel(ConfyUI maneger→Install Modelsからインストール可能)

【IPAdapter_plusのテスト】

・ComfyUI/custom_nodes/ComfyUI_IPAdapter_plus/models に
IPAdapter用モデル
・ComfyUI/models/clip_vision に
clip vision用 model
が入っているか確認の上で…
以下のtest_IPA.png をダウンロードし、ComfyUI にドロップしてください。
IPAdapter_plus のノードが出てきます。
追記)Load Image の参照画像は好きな画像を使ってください。
赤いノードのmodel,clip vision,vaeをsd1.5用/sdxl用のものを混同せずに選択して、Queue Promptを押してください。
画像が出力されればOKです。

【ReActor Node(Face Swap)のテスト】

ComfyUI\models\facerestore_models に顔の修復モデルが入っているか
確認の上で…
以下のtest_Rea.png をダウンロードし、ComfyUI にドロップしてください。
ReActor Node のノードが出てきます。
追記)Load Image の参照画像は人物のどアップ画像を使ってください。
赤いノードのmodel,vaeをsd1.5用/sdxl用のものを混同することなく選択して、Queue Promptを押してください。
画像が出力されればOKです。

■無事に全ての拡張機能などがインストールできたら…実践!

以下のtest_ADF.png をダウンロードし、ComfyUI にドロップしてください。
test_ADF のノードが出てきます。

test_ADFのnode

また、ノードが赤く反転しているものがある場合は、機能拡張が足りません。ConfyUI maneger→Install Missing Custom Nodsに進むと、該当する機能拡張が出てきますのでインストールし、再起動してください。

進行具合は現在の場所が緑の枠で囲まれます。
で、KSamplerでめちゃくちゃ時間かかります。
GPUも99%使います。
私のpc(13th_i7_4070ti)で…
select_every_nth=5 376秒/elect_every_nth=1 1877秒かかります

■使用方法をザックリ説明

・Load Video
 好きな映像を使ってください(長いと時間かかるので、10秒程度)
 このノードでは横長を使ってますので、縦長のものを使う場合は、
 Upscale Imageの値を変更してください。
 select_every_nthはコマ落ちです。数値を下げるほど動画が滑らかに
 なりますが、時間もかかります。
・Load Checkpoint
 このノードではcheckpointにvaeが入ったものを使用しています。
 vaeが入っていないものを使用する場合は、真ん中にある孤立した(ピン
 クに反転)Load VAEを右クリックし、中程にあるBypassをクリックすると
 使用可能になるので、VAE Encode(2個)に新たにつなぎ直して、vaeを選
 択してください。
・LCM Lora
 AnimateDiffでも使用できるようですが、動画を参照する場合でサンプラー
 のstepやcgfを下げると画像が崩れるのでバイパスしてます。
・ControlNet
 Lineart,OpenPose,depthの3種類を好みに応じて使ってください。
 自分で設定すれば他も使えます。
・Prompt
 Batch pronpt Schdule は殆ど効いてません。背景を消せば…また今度。
・AnimateDiff Loader
 mm_sd_v15_v2 を使用する場合は、apply_v2_models_properlyをtrueにして
 ください。
・faceswap
 好きな画像をどうぞ。
 ReActor-Fast Face SwapのON/OFFは、好みでどうぞ。

今後は、このノードをもとに更に使いやすいノードを作成します。


 


この記事が気に入ったらサポートをしてみませんか?