記事一覧
Paperspaceでsd-web-ui-forgeをインストールする方法(v2)：改良版(2024/2)
以前、記事にしたものに修正などを加えたものになります。後半に「Model downloader」の使い方も記載しておきました。
＜変更点は以下の3つです＞
①Torch 2.1.2を使用できるようにした。
②FP8の起動コマンドを追加し、FP8が使えるようになった。
③モデルをダウンロードを省いた。
④Deforumの「Depth zoe」対応用にwebui起動コマンドに追記と、モデルダウンロー
新しいSDXL用のコントロールネットモデルを試してみた：MistoLine(2024/5)
Mistolineは、先日発表されたSDXL用のコントロールネットモデルになります。
ラインアート系のモデルになりますが、紹介ページの画像を見ると、これまでのSDXL用のコントロールネットモデルと比較してかなり良さげな印象です。
モデルは上のサイトからダウンロード出来ます。
※Forge depth fmブランチ用のコマンド：tmp用
# コントロールネットmistoline!cd /tmp
Deforumのvideo2videoについて、SDXL版
以前の記事でSD1.5版については記載したのですが、SDXLについてはコントロールネットの効果がSD1.5と異なる点、temporalnetなどと同じようなコントロールネットがない点などから検討していませんでした。
今回、SDXLでやってみたvideo2videoについての記事です。
個人的な印象としては、SD1.5の方が一貫性は高いと思われますが、SDXLで表現できるものはありそうかなと思いま
SD-WEBUI-FORGEのDev2版のインストールについての話
最近、SD-WEBUI-FORGEはアップデートされないなーと思いつつ、個人的には不便なところはなかったので、そのまま使用していたのですが、Discussionの所で、Dev2版のブランチが更新されたとのアナウンスがありました。
ざっくりとした内容としては、メインで運用されているllyasvielさんがFORGEのアップデートを行えない状態で、他のFORGEをサポートしているメンバーはメインを更新
「Concept sliders」の使い方？メモ
この前、Emi2のNoteを拝見した際に、「Ceoncept slider fix_handsというのを使用して」という記載があり、少し調べてみました。
上のGithubサイトのものを言っているようです。
論文(preprint)も出ているようです。
https://arxiv.org/pdf/2311.12092.pdf
<GPTさんの要約>
タイトル: Concept Sliders: L
Deforum studioのプリセットについて2：ハイブリットビデオを使用する際に気を付けること
上のサイトは、本家のプリセット一覧になります。
動画の例が提示されています。
前回紹介したGithubのプリセット内に、ハイブリッドビデオを使用するものがあり、それらはコントロールネットのcannyが必要となっています。
Paperspaceの一時フォルダを使用している場合は以下のコマンド
!cd /tmp/stable-diffusion-webui-forge/models/Contro
Deforum studioのプリセット動画が自分で作れる！！神機能紹介
先日、deforumのdiscordで上のGithubサイトが紹介されていました。
これはdeforum studioという有料サイトにあるモーションプリセットを、forgeなどのDeforumで再現出来るというものです。
プリセットの一覧を見ると分かりますが、たくさんのパターンがあり、それらを自分だけで再現するのは極めて困難ですが、それが簡単に出来てしまうというので、非常に素晴らしいものになって
sd-webui-forgeでの「tiled diffusion」もどきのアップスケール方法について試してみた
tiled diffusionは、sd webuiにある拡張機能で、アップスケール機能をよく使用していました。
この機能は、元々の画像を綺麗にブラッシュアップが出来たのが良いところです。特に動画だと、例えばanimatediffなどでは512x512ともともと解像度が低いこともあり、アップスケールが必須でした。
DeforumでSDXLを使用し始めてから、使用しなくなったのですが、それはSDXLを
Deforumで可能な液体表現について：水遊び的なもの
叡智な動画ばかり作成してしまい、記事をほぼ作成していませんでした。
そちらで、R18的な液体表現的なアニメーションを作成していたのですが、この記事では非R18の内容です。
ちゃんと調べていませんが、Deforum関連でこの内容について記載している記事は少ないかと感じましたので作成してみました。
score_9, score_8_up, score_7_up, best quality, mast
SD-webui-ForgeのブランチｘDepth FM : paperspaceのコマンドと検証的なもの
最近、Forgeのアップデートがあまりありませんよね(2024/3末時点)。
Githubページを見ると、作者の方が非常に忙しいようです。これだけ優秀なアプリをたくさん開発出来る方ですから仕方がないのかもしれません。
そういった中で、他の方が作成したいくつかのブランチがあります。
その中で、新しいDepthプリプロセッサーを入れたブランチがあり、それを試してみるコマンドを作成しました。
修正点が
FreeUの設定値について(実写系モデルで試してみた)
さて、以前の記事でfreeuについて調べて検討したのですが、最終的に面倒だからデフォルトもしくは公式推奨値でしちゃったりしてました。ところが、forgeで、kyohaHRFixなるものが出てきたおかげで併用する選択肢が出てきてしまいました。deforumを使用する場合は、併用した方が良い結果になると思いますので、そこそこ切実な内容です。
そう言った中、たまたま、上のリンクにあるForgeのDis
Depthモデルの比較：2024/3時点
Txt2imgで、いくつかのDepthモデルを使用した際の比較をしてみたので、せっかくなので記事にしました。生成時間の比較がメインです。
参考になればと思います。
比較したDepthモデルは以下の5つです。正しい使い方ではないかもしれませんが、「diffusers_xl_depth_full」で全て行いました。これより小さいサイズだと生成時間は速くなると思います。精度が下がるかと思い(未検証)一番
Deforumで叡智なAIアニメーションの作成が可能だったりする話
日本では、Deforumはあまり人気のないAIアニメーション作成の拡張機能になっています。
どうもAIダンスとかの方が人気があるようです(自分の記事も閲覧数はAnimatediff>Deforumなので・・・)。
私自身、Deforumは初心者から中級者レベルですが、Txt2imgでそこそこ叡智なアニメーションが作製出来、最近はそれにはまっています。
この記事で、Deforumを触ってみたいと思う
Paperspaceでsdwebui-forgeをインストール：一時ディレクトリ編
paperspaceでは、一時ディレクトリにインストールして動かすことで、容量を使用しなくて済むので、15GBを超える容量になりそうな場合はこちらも選択肢になります。
通常に入れる場合との比較としては、インストールしたファイルを見れないことです。移動も手動で出来ません。
やる人は少ないと思いますが、インストールしているスクリプトを書き換えるのも出来ません。
また、立ち上げ毎に全て1からやり直すので
DeforumのDepthモデルを「Depth zoe」に変える！！3Dモードには必須級！
前置きなど(Depth zoeモデルが使えるまでの個人的な苦闘編)
DeforumのParaseqなどを使用していると、3Dモードで動きを付けたりすることになると思います。3Dモードを使用する場合は、画像生成を実行すると、自動的に対応するDepthモデルが、Deforumのモデルディレクトリ内にダウンロードし、それを参照しています。
Deforumのデフォルトモデルは「Midias-3 Hybr
パーリンノイズって何？ということで調べた話とDeforumでの設定
(wiki)
パーリンノイズ（英: Perlin noise）とは、コンピュータグラフィックスのリアリティを増すために使われるテクスチャ作成技法。擬似乱数的な見た目であるが、同時に細部のスケール感が一定である。このため制御が容易であり、各種スケールのパーリンノイズを数式に入力することで多彩なテクスチャを表現できる。パーリンノイズによるテクスチャは、CGIで自然な外観を物に与えるためによく使われる。