簡単だけど効果的。手軽にできるモデルマージ術
AIでイラスト生成していると、こだわりたくなるのがMODEL。
既存のモデルでも十分ことたりますが、ちょっと物足りないときに自分でささっとマージできるとけっこう便利。
そこで今回は手軽にできるマージ方法を紹介してみます。
ガチでしっかりマージしたい方は「Super Merger、階層マージ」あたりで検索してください。
マージは「Super Merger」を使います。
簡単に使い方を説明しておくと、WEBUIにインストールしたら「Super Merger」タブを開き、「Model A~C」のプルダウンリストでマージしたいモデルを指定。
その下の「Merge!」でメモリ上にモデルをマージ。
「Merge&Gen」でモデルをマージして、メモリ上のモデルを使ってtxt2imgタブにあるプロンプトで絵を出力。
「Gen」でメモリ上のモデルを使って絵を出力します。
モデルをセーブしたいときは、「Save Setting」セクション内の「save model」にチェックをいれます。
Super Mergerの詳しい使い方はここでは触れないので、各自で検索してください。
分からないことがあれば、コメントで質問して頂ければ可能な範囲でお答えします。
1:好きなモデルを混ぜまくる。
お気に入りのモデルを5:5ぐらいの比率でただただマージしまくります。
このやり方だと、モデルの特徴が薄れていく反面、クセがなくなって使い易くなっていきます。
とくにプロンプトやLORAへの応答性に優れるため、自作したりネットで入手したりしたLORAの運用テストに向いています。
私の場合、8個混ぜたモデルと16個混ぜたモデルを常用しています。
やや画像がボヤっとすることもありますが、概ねクセのない優良モデルとして動作中。
マージするときのポイントとして、実写系モデルを一ついれておくと手足の表現が向上するような気がします(体感)。
マージ方法はシンプルで、2つのモデルをマージする場合は、「Weight sum」モードでalphaを「0.5」にしてマージ。
3つのモデルをひとつにマージするときは、「Triple sum」モードで、alphaとbetaをそれぞれ「0.33」でマージします。
(どちらもCulcuraiton Modeは「normal」)
例えば、マージしたいモデルが8個ある場合は、勝ち抜きトーナメント表の要領で、2モデルマージを4つ作成。その4つをさらに2個ずつマージ。できた2つのモデルをマージさせれば8個マージモデルの完成です。
なおアクセントとしてちょっとだけ足したいモデルがある…なんてときは3個マージで3割程度だけ取り込むといいです。
------------------------------------------
A+B=AB
C+D=CD
E+F=EF
G+H=GH
AB+CD=ABCD
EF+GH=EFGH
ABCD+EFGH=8モデルをマージしたモデル
------------------------------------------
2:絵柄がいいけど構図力が残念なモデルを改良する
AOM2や7thなど、SD初期に登場したモデルは、最新モデルと比較すると、プロンプトの応答性にクセがあったり最新のLORAとの相性がよくなかったりします。
「AOMや7thを使いたいけど、お気に入りのLORAが上手くうごかない!」なんてときは、LoRAが効きやすいモデルの「BASE」だけを取り込んでみましょう。
技術的な話は端折りますが、「BASE」というのは「絵柄への影響は少なく、構図への影響が大きい」部分。
Super Mergerで「BASE吸い取りマージ」を行う場合、「Super Merger」タブの左側中ほどにある「use MBW」をチェック。
Model Aにベースとなるモデルを、Model BにBASEを移したいモデルをセット。
下部の「Merging Block Weights」セクションのスライダー部分を「BASE」のみ1にして、他はすべて0にします。(0はモデルA、1はモデルBになる)
「Merge&Gen」ボタンを押すと、指定したモデルを使って、txt2imgタブのプロンプトを使って画像を出力してくれます。
この段階ではモデルはメモリ上にあるだけで実際にはセーブされていません。
マージ結果が気に入ったときは、「Seve Settings」セクションの「save model」をチェックした後「Merge!」ボタンを押すと、モデルが保存されます。
3:モデルに絵柄LORAをマージする
Super MergerのLoRAタブで、モデルにLoRAをマージできます。
お気に入りの絵柄LoRAをマージすると、MODELの絵柄を調整できます。
LoRAマージは手軽に絵柄調整できて便利ですが、あっさり過学習になるので要注意です。
複数モデルをマージしたモデルは、プロンプトやLoRAの応答性がよくなりやすいです。
マージしたモデルのBASEを、お気に入りモデルのものと差し替えるのも効果的です。
なお個人的おすすめBASE用モデルはSUKUMIZUMIX。
あとMANMARUもいい。
この記事が気に入ったらサポートをしてみませんか?