【付録に本学習データセットとLoRAファイルを有料でダウンロードできます】

想定する読者

• Stable Diffusion のリアル系顔 LoRA を作ってみたい人

はじめに

この記事では、過去に生成した好きな「顔」画像を利用して、入門者向け顔 LoRA 作成方法を解説していきます。きっとAIがあなたの好みの特徴を学習してくれるでしょう。必要なものは、

• 自分で作成した学習用イメージ

  • この記事では筆者が過去に chichipui に投稿したものを利用します

• GFPGAN のコマンドライン版

  • 修正機能は利用せずに、顔の自動抽出だけに利用します。

  • ※ 別記事で説明していますが、導入は面倒です。無くても Gimp 等の顔切り抜き手作業で問題ありません。

• NMKD Stable Diffusion GUI

  • LoRA の作成に利用します。

• Stable Diffusion webUI (forge)

  • 自動タグ付けと、作成した LoRA の動作確認に利用します。

• Beautiful Realistic Asians v6.0

  • アジア系人物に特化した Stable Diffusion 1.5 のモデルです。

GFPGAN・NMKD Stable Diffusion GUI・Stable Diffusion webUI (forge)のインストール方法

意外にあまり知られていない最も簡単な LoRA 作成方法

筆者が良く使うモデル

学習用素材の準備

筆者の chichipui ページです。アップした画像を学習素材として利用します。

フォルダに画像をまとめます。この28枚の画像で学習を行います。

この状態でもそれなりに学習はできるのですが、より良く顔だけを学習するために、顔をアップにした 512x512 解像度のファイルを作成します。

顔を抽出

30枚程度なので、気合いで顔を切り出しても問題ありませんが、GFPGANのコマンドライン版を利用すると、非常に楽に顔を抽出してくれます。

導入は面倒ですが、GFPGANのインストール方法はこちらで解説しています。

さらに回転修正まで行ってくれるので、学習用素材には最適です。

python inference_gfpgan.py -i "C:\GFPGAN\input" ^
	       -o "C:\GFPGAN\output" ^
	       -v 1.3 \
	       -s 1 \
	       --ext png \
	       --bg_upsampler=none

「C:\GFPGAN\input」に画像を保存していれば、それらすべての画像に対して処理してくれます。

output フォルダには「results-gfpgan」フォルダが作成され、さらにそのフォルダ内「cropped_faces」 512x512 イメージが保存されます。

背景に写った人物も抽出してしまうので、学習したくない画像は削除しておきましょう。

タグ付け

一般にLoRA 学習は、一対の「画像」と「画像を説明するテキスト」を利用して行います。もちろん手動でタグ付けしても問題ありませんが、AIを利用する事もできます。Stable Diffusion webUI (forge) だと「Extras」タブから利用できます。

「Caption」をクリックして、先程のフォルダと出力先を入力します。Caption 生成方法として二種類を選べます。Deepbooru は Danbooru タグ（アニメ用）を挿入します。Danbooru を利用していないリアル系のモデルは BLIP の方が良い結果を出します。

画像とそれを説明するテキストが生成されます。たとえば最初の「00000_00.txt」には

a woman blowing bubbles in the air with her eyes closed and her hair in a bunt, looking to the side, Chen Jiru, high detail 8 k, a poster, net art

が記載されています。正しくプロンプトに追従する高品質な LoRA を作成するには、このタグを調整する必要がありますが、顔 LoRA に関しては、既に顔アップで抽出しているので、それほど拘る必要はありません。作り込んでも髪型やメガネ程度だと思います。さらにトリガーワードを先頭に記載してもいいのですが、インペイント用途で利用する場合は別パラメータで調整できるため、あまり気にする必要はありません。つまり（面倒なので）すべてそのまま利用します。※ 顔 LoRA の場合、基本的に同じ顔なので、タグは生成品質にあまり影響しません

これで学習素材の準備は終了です。

LoRA 作成

NMKD Stable Diffusion で作成します。

base モデルは、Beautiful Realistic Asians v6.0 を利用します。

RTX 3060 で一時間程度で終了しました。LoRA ファイルは models → LoRAs に「favoriteface_1000s_lr0002_640px.safetensors」名で保存されます。

LoRA 確認

Stable Diffusion webUI forge を利用して、作成 LoRA の確認を行います。モデルは学習時と同じ Beautiful Realistic Asians v6.0 です。

特徴的な顔（特にまゆげ）が量産されました。

付録

付録として、本記事で利用した学習データセット（若干の修正済み）と顔  LoRA ファイルを有料でダウンロードできます。記事の LoRA との変更点は、配布物としてより適切になるように、ベースモデルを v1-5-pruned.safetensors に変えている事と、次元とファイルサイズ・学習ステップが増えている点です。

上図 png の生２ファイルをサンプルとして同梱していますので、「PNG Info」タブで読み込み、同じwebUI-forgeのバージョンとモデルを利用すると、ほぼ同じ画像が生成されるはずです。

• 同じ顔が生成できるように、過学習ぎみにしています。ウェイトを0.6程度、CFGも4〜5が適切です。

• 無くても問題ありませんが、トリガーワードはファイル名と同じで「myfavccpi202404」です。ちちぷい 2024年 4月までの筆者投稿画像という意味でつけています。

• note でアップロード可能なサイズが 50 MB ですので、7z 形式で6個のファイルに分割しています。すべてダウンロード後に 7-Zip 等で結合＆解凍してください。ご不便おかけします。

• 単体で利用するものではなく、また v1-5-pruned.safetensors モデルをベースに利用していますので、利用する際は、Stable Diffusion等ソフトウェアやモデルのライセンスに従ってください。言うまでもありませんが、実写を利用していなくても、偶然誰かに似てしまう事があります。十分にご注意ください。

• 【免責事項】

  • 本ファイルの利用によって発生したトラブル、損害等に対して作者は何ら責任を負いません。

  • 内容の変更や公開の中止をする場合がありますが、それによって生じた損害等に対して一切の責任を負いません。