前置きなど(Depth zoeモデルが使えるまでの個人的な苦闘編)

DeforumのParaseqなどを使用していると、3Dモードで動きを付けたりすることになると思います。3Dモードを使用する場合は、画像生成を実行すると、自動的に対応するDepthモデルが、Deforumのモデルディレクトリ内にダウンロードし、それを参照しています。
Deforumのデフォルトモデルは「Midias-3 Hybrid」というモードになっていますが、実はいくつかのモデルがあります。
上のyoutubeにDeforumで採用されているDepthモデルの比較動画があります。
字が小さくで分かりにくいですが、右上のものがデフォルトのものになります。
しかし、比較動画を見ると、下の真ん中が一番良い感じということがわかります(特に画像が引いていくときの猫の形)。
このモデルが「Depth zoe」になります。

ただ、理由は不明ですが、Deforumのモードを「Depth zoe」にして実行しただけでは、デフォルトの様にモデルがダウンロードされることがなく、動きません。。(2024/3現在)

Deforumの公式のQ＆Aサイトを見ると、そのひとつ前のDepthモデルについては記載があるのですが「Depth zoe」についてコメントはありませんでした。

このDepth zoeがあったら良いなと思い始めるのは、Paraseqに慣れてきて、画像の動きを付けるころだと思います(個人的な感覚)。
デフォルトモデルだと、youtubeにあるように動きを付けると人物などは変形していきます。これで「Deforum使えねー」とか思った方が多いのかなと感じしています。

さて、話を戻しますが、Deforumで参照しているDepth zoeモデルは「Depth zoe」の本家のGithubサイトにあります。
モデルはＨＰ内の以下の所にありました。（※私自身はGithubに慣れていないこともあり、うまく見つけられず、結構模索しました）

Deofrumに関して注意しておくことは、コントロールネットで使用しているものとはモデルが異なる点です。最初に思った「コントロールネットで落としてきたやつを流用すれば良いんじゃない？」という考えは通用しません。

ちなみに、コントロールネットのモデルは「ZoeD_M12_N.pt」

Deforumは「ZoeD_M12_NK.pt」です。

上のGithubサイトのrelesesには3種類のモデルがあるので該当するものをダウンロードしましょう。

https://github.com/isl-org/ZoeDepth/releases/download/v1.0/ZoeD_M12_NK.pt

ここで安心してはいけません。
このまま、3Dモードで作成するとエラーが出ます。。。。。
エラーの内容を見ると、下のものと同じ記載になってました。
GPTさんに聞いても教えてくれず、地道なネット検索が上回りました。

内容を見ると、対策として以下のコマンドでライブラリをインストールする必要がある様です。

pip install timm==0.6.7

この内容を踏まえてローカルPCとPaperspaceでの「Depth zoe」の使用方法について記載します。

A. ローカルPCでの「Depth zoe」の使用方法

※「Depth zoe」モデルを使用すると、従来のモデルに比較すると生成時間が倍近くになります。

①ダウンロードしたファイルを、以下のフォルダに入れます。

(※Deforumをインストールするだけではmodelsのフォルダは作成されませんので、その場合はフォルダを作成してください)

②「run.bat」をメモ帳で開いて、途中の文言を追加する

これで必要なライブラリがインストールされます。一度インストールされれば良いので、二回目からは消してもOK。

@echo off

call environment.bat

"%~dp0system\python\python.exe" -m pip install timm==0.6.7

cd %~dp0webui
call webui-user.bat

③WebUIを立ち上げた後、Deforumの「Depth warping」のタブで、Zoeを選びます。

これで生成すれば「Depth zoe」で実行できます。

B.　Paperspaceでの「Depth zoe」の使用方法

※「Depth zoe」モデルを使用すると、従来のモデルに比較すると生成時間が倍近くになります。

以下のサイトの記載を修正していますのでそれを使用してください。

①deforumのモデルディレクトリにdepthモデルを入れます。

以下のコマンドで、ディレクトリ内に入れられます。※Deforumのインストール前でも問題ありません。インストール後でもOK。

 #zeodepthのダウンロード 
!mkdir -p /notebooks/stable-diffusion-webui-forge/models/Deforum && \
wget https://github.com/isl-org/ZoeDepth/releases/download/v1.0/ZoeD_M12_NK.pt -P /tmp/stable-diffusion-webui-forge/models/Deforum

 #zeodepthのダウンロード (一時ディレクトリ用)
!mkdir -p /tmp/stable-diffusion-webui-forge/models/Deforum && \
wget https://github.com/isl-org/ZoeDepth/releases/download/v1.0/ZoeD_M12_NK.pt -P /tmp/stable-diffusion-webui-forge/models/Deforum

②Webui起動コマンドに追加をする。(全体は上のリンク参照)

!pip install timm==0.6.7

これで問題なく動作を確認しました。

そこそこ手間がかかりますが、Depth zoeの方が圧倒的に良いのでその価値があると思います。