はじめに

今回はStable Diffusion WebUIでのLoRAの使い方について解説します。
LoRAとは「Low-Rank Adaptation」の略で、
ファインチューニングよりも手軽に特定のタスクを学習させる手法です。
特定の画像を数十枚学習に使用するだけで、
その画像の特徴を画像生成の結果に反映させることができます。
例えば、LoRAを使わずに「日本人男性」というだけのプロンプトで画像生成を行うと様々な日本人男性の画像が生成されます。
しかし、「ボディービルダーLoRA」みたいなものを使うと
「日本人男性」のプロンプトでも、マッチョな日本人男性が生成されます。
プロンプトやモデルだけでは制御できないより特定の画像を生成する際に
その精度を高める目的で使われます。

LoRAのダウンロード

まずはLoRAのファイルをダンロードする必要があります。
ダウンロードは「Civitai」や「hugging face」で行います。
今回は「Civitai」でLoRAを探しました。
今回はサイバーな雰囲気になるLoRAを選びました。

TypeがLoRAのお好きなファイルを探します。
「DownLoad」の部分で右クリック→「リンクアドレスのコピー」で
ダウンロードリンクを取得します。

次にGoogle Colab でダウンロードの処理を記述します。

処理の内容は、LoRAダウンロード用のディレクトリを作成し、
そこに「!wget」でダウンロードします。
「https://civitai.com/api/download/models/97908」が取得したダウンロードリンクです。「cyber-style-girl.safetensors」がファイル名なので任意の名前を付けます。参考に下記のコードをコピペで使ってください。

# ディレクトリ作成と指定
%mkdir /content/stable-diffusion-webui/models/Lora
%cd /content/stable-diffusion-webui/models/Lora

# サイバー風のLoRA
!wget https://civitai.com/api/download/models/97908 -O /content/stable-diffusion-webui/models/Lora/cyber-style-girl.safetensors

LoRAの使い方

次にWebUI上でダウンロードしたLoRAの使い方を解説します。
先程のセルを追加して、WebUIを起動した後、
生成ボタンの下の花札のようなボタンをクリックしてください。

そのあと、下記の「LoRA」のタブを押すと
ダンロードしたLoRAファイルが入っています。
複数のLoRAをダウンロードした場合はここに並ぶ形になる。
適用したいLoRAをクリックするとプロンプト内に
そのLoRAを使用するプロンプトが入力されます。

下記の「<lora:cyber_style_girl_v1:1>」が追加されたLoRAを使う指定です。
「:」の後ろの数値はそのLoRAの重みです。

LoRAの重みによる差分

LoRAの重みを変えていくことでどのような違いが出るかを見ていきます。
重みが「0.5」だとあまりサイバー感がない印象ですが、
重みが「1.0」は良い感じにサイバー感が漂っています。
重みが「1.5」はガッツリLoRAの影響が出ていました。

最後に

ここまで読んでいただきありがとうございました。
今回はここまで！
次回は自分でLoRAを作る方法についての記事を投稿します。
ご興味のある方はフォローよろしくお願いします！
また、この記事が参考になった方は「スキ」を頂けますと
投稿の励みになります！