生成AIが台頭してきており、ゲームの個人開発者としては無視できない段階に来ています。
以前少し触ったStable Diffusionをしっかり触ってみようと思い、情報をまとめてみました。

1.商用利用可能か？

まず、これですね。
基本的に現状はできます。ただしモデルによっては商用利用禁止のモデルがあるので、モデルをダウンロードする際には確認しましょう。

2.Stable Diffusionの基礎

くろくまそふとさんがStable Diffusionの有用な情報を沢山載せていらっしゃいます。その通りにやりましょう。

EasyNagativeは必ず入れましょう。

また自分は8GBのVRAMでやっていたのですが、すぐメモリ不足のエラーが出ましたので、以下の記事の１～３の設定は必須だと思います。

設定はプリセットで保存できます。

2.基本機能

3.プロンプト(呪文)

以下はくろくまそふとさんの健全なプロンプトの記事のみですが、「Stable Diffusion　呪文」等で検索すれば、いっぱいアレな情報がでてきます。

プロンプトはWikiもあります。

呪文を生成するツールもあります。

保存して、再利用することもできます。

EasyNegativeを使えば、ネガティブプロンプトをいちいち書く必要はなさそうです。

プロンプトの入力を補助する拡張機能です。

4.モデル

モデルは画像生成する際の画風を決定づける型のようなモノです。CivitAiやHugging Faceで公開されています。

先述したようにモデルにはライセンスがあります。

CivitAiであればモデルをダウンロードする画面の右下で確認できます。以下のDeepBlueXLモデルは「他のモデルとマージ(融合)したモデルを販売しないでください」というライセンスです。モデル自体を販売するつもりがない自分のような人にとっては、自由に使えると同義ですね。

ダウンロードした「.safetensors」ファイルや「.ckpt」ファイルは「stable-diffusion-webui-master\models\Stable-diffusion」に入れると使えるようになります。
なお、多少面倒でも以下の方法で、サムネイル画像を設定しましょう。
　モデルをダウンロードしたら、2～3枚すぐに生成してしまい、適当な画像をサムネイルにするのがおすすめです。

ちなみに自分はモデルの画風を比較しやすいようにサムネイルを全部霊夢にしました。

5.LoRA

LoRAは既存のモデルに追加学習を行ったデータです。
モデルの配付も行われています。

こちらもサムネイルを登録を推奨します。

高速で生成できるLoRA。導入必須です。

描く要素を調整するLoRA。重みがマイナスで書き込みが多くなり、プラスで書き込みが減ります。0.7～0.8の間で画風に大きな変化があるようです。

主線(輪郭線)を調整するLoRA。重みがマイナスで線が濃くなり、プラスが細く、薄くなります。自分は線がはっきりした絵が好みなので、重み-1で出力しています。

色々なLoRAで実験された方がいます。大変参考になります。

6.ControlNet

指定したポーズにできる拡張機能です。

7.拡張機能(ControllNet以外)

顔部分を精細に描いてくれる拡張機能です。表情差分も簡単に作れます。導入は必須だと思います。

画像から背景を削除する拡張機能です。これはかなり重宝します。

ピクセルアート(ドット絵)化する拡張機能です。設定と導入がやや複雑ですが、なれると簡単です。

8.テクニック

9.SDXL

10.その他(YouTube、note)

AI Art JAPANさんはとても見やすいですね。

テルルとロビンさんは凄く見やすい動画を作成されていたのですが、最近更新がありません。

とりにくさんは深い実験記事を沢山書かれているので、どっぷりStable Diffusionに漬かりたい方は必見でしょう。

11.まとめ、感想

• 使いやすさ、導入しやすさはDALL-E3のほうが上

• 拡張性、アングラ性はStable Diffusionのほうが上

• Stable Diffusionは凄い速さで進歩しており、もう使われていない拡張機能の記事なども散乱しているので、情報集めが難しい。とりあえず、ADetailer、ControlNet、LCM-LoRA、EasyNegativeは導入必須

• Stable Diffusionはメモリ不足対策の設定は必須

• Stable Diffusionは512×512(初期設定)の画像出力が早いっぽい。アスペクト比を崩すとかなり遅い

• Stable Diffusionは無料で導入できるが、グラフィックボードの性能に依存するので、ある意味お金がかかる

• Stable Diffusionはグラフィックボードをフル活用するため、Unityの裏で動かすのは厳しそう

• Stable Diffusionで思い通りに画像を出せるようになるのはかなり難しそうだし、時間が溶けそう