こんにちはこんばんは、teftef です。 「Latent Consistency Models の LoRA (LCM-LoRA) が公開されて、 Stable diffusion , SDXL のデノイズ過程が爆速でできるようになりました」という記事を書きました。今回は ComfyUI でその LCM-LoRA をつかって AnimateDiff を使用する方法についてです。
画像生成についてはこちらから。
※この記事は有料となっていますが、最後まで内容が読めます。

　私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。また、この記事を作成するにあたり、GPT-4 による校正、修正が含まれています。

Latent Consistency Models

　Consistency Models と Latent Consistency Model について、詳しくは、こちらを見てください。見なくても使えます、でも読んでくれたらうれしいです。

ComfyUI

　よく使っている Stable Diffusion webUI とは異なり、ComfyUI という GUI もあります。

詳しい導入と使い方はこちらから。

AnimateDiff 関連のカスタムノードのインストール

　AnimateDiff は text からフレーム間の一貫性がある程度保たれた動画 (GIF) を生成できることができるツールです。ComsyUI で使用するためにいくつかの拡張機能とモデルを入れる必要があります。
とりあえずコマンドプロンプトで ComfyUI の custom nodes まで移動します。

ComfyUI-AnimateDiff-Evolved

　AnimateDiff の拡張機能を入れます。

git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

ComfyUI-Advanced-ControlNet

　AnimateDiff で使う ControlNet 拡張を入れます。 (フレーム間の一貫性を取るモジュール (多分))

git clone https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet

ComfyUI-Manager (オプション)

　足りないカスタムノードを探し出してインストールしたり、アップデートをしたりする作業を GUI でできる便利なモジュール (入れなくても動きます。)

git clone https://github.com/ltdrdata/ComfyUI-Manager

motion modules のダウンロード

　続いて、以下url から好きなモジュールをダウンロードし、以下の パスに保存しておきます。

ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models

の下に入れておきます。

Controlnet

Video 2 Video のために、 ControlNet のモデル をダウンロードします。(使うものだけでいい、text 2 image では使わないので飛ばしてもいい)
以下の パスに保存しておきます。

ComfyUI\models\controlnet

の下に入れておきます。

LCM-LoRA のダウンロード

　LoRA モデルのダウンロードはこちらから行い、指定の場所 (ComfyUI\models\loras) に入れてください。

ノード配置 (SD1.5)

　以下の画像のような感じで配置します。Sampling の部分を全部 lcm にするのを忘れずに。

配置を読み込む json file はこちらで配布します。

生成速度

　今回、生成に使用した GPU は RTX 2070 Super です。

　context_length = 16 で512 × 512 の動画の生成速度は 40 秒ほどでした。(batch_size = 16)

　context_length = 16 で512 × 768 の縦長の動画の生成速度も 40 秒ほどでした。(batch_size = 16)

エラーなど

model.model.memory_required = orig_memory_required

このようなエラーが出るときは ComfyUI をアップデートしてください。

おまけ : 他の LoRA と組み合わせる

　LoRA を複数個利用するときはこのように直列でつなぎます。

最後に

　Latent Consistency Models LoRA を使った AnimateDiff を ComfyUI で使う時の方法についてざっくり書きました。 普通の画像生成を行う場合はこちらから。

　最後に少し宣伝です。主のteftefが運営を行っているdiscordサーバーを載せます。このサーバーではMidjourneyやStble Diffusionのプロンプトを共有したり、研究したりしています。ぜひ参加して、お絵描きAIを探ってみてはいかがでしょう。(2,400 字，teftef)

　↓↓もしよろしければこの記事と開発の支援お願いいたします！

※注意 :　支援してくださる方へ

　※注意 :ここから先は何も内容がありません。しかし、この記事をお読みいただき、良かったと感じていただけたのであれば、この記事と開発の支援お願いいたします！