最近寒かったり暑かったりで若干体調がよくないなべくらです。

今回は私の画像生成AI体験記を書きたいと思います。画像生成AIをやってみたいなーという人は良かったら参考にしてみてください。

ゲーミングPC購入まで

まず、画像生成AIを楽しむにあたり、必ずゲーミングPCが必要かと言われたらNoだと思います。
Midjourney等の生成AIサービスを使えばDiscordを使って簡単に画像生成できますし、今回紹介しているStable DiffusionもGoogle Cloaboratory等のクラウドサービスを使えばどんなPCでも楽しむことができます（どちらも基本月額で料金が必要になります）。
ただ、好みの絵柄やポーズの細かい指定をしようとしたり、さまざまカスタマイズをしようと思うと、Midjourney等の画像生成サービスだと物足りない部分がでてきます。
また、Google Cloaboratoryは使い放題のシステムではないため、大量に画像ガチャをしようと思うとその分料金が発生します。

こんな感じでどちらもメリデメあるのでそれぞれの需要に合わせて導入を検討するのが良いと思います。ちなみに、私の場合は普通に他の用途（VRやゲーム）でもPCが欲しいなと思っていたのでゲーミングPC購入にいたりました。
どれくらいのグラボが必要かというのは正直わかりませんが、一つ基準としてVRAM12GBあればよいと言われています。これソースがいまいちわからなかったのですが、どこなんでしょね？。私もVRAM12GBあるRTX 4070 SUPERのPCを購入しました。正直ここまで高性能である必要はなく、本当はRTX 4070のPCが欲しかったのですが…売り切れてしまいました泣
ゲーミングPCについてもいろいろ調べたのでいつか記事書きたいな🧐

Stable Diffusion導入

直接Stable Diffusionの導入

ゲーミングPCを購入後、早速Stable Diffusion web UIの導入を行いました。
Stable Diffusion web UIとは、自分のPCに「Stable Diffusion」を使用するための環境を構築し、Webブラウザから直感的な操作で画像生成を行うためのツールのことです。これを使うとStableDiffusionをコマンド操作ではなく、Web画面上で操作することができます。

ちなみにStable Diffusion web UI(AUTOMATIC1111)と表記されることもありますが、このAUTOMATIC1111とはStableDiffusion web UIツールを公開している人の名前です。アイコン画像はベトナムのヒーロー、ホーチミンさん。ベトナム人なのか…？🧐

Stable Diffusion web UI導入には以下のようなサイトをいくつか参考にしました。

Stable Diffusion web UIを導入するのにPythonやGitをPCにインストールする必要があるのですが、長年Macユーザーだったため、Windowsのコマンドプロンプトの操作に慣れず、一つ一つの作業のやりづらさを感じつつ進めました。

Windowsに対する操作のし辛さはありましたが導入自体はそこまで戸惑う部分も無く、とりあえずWebUIが起動し画像生成ができる状態にまではすることができました。
この段階ではデフォルトのモデルが入っており、最低限の画像生成ができるようになっています。

Stability Matrixでの導入

その後、知り合いに教えてもらった以下記事を読み、stability matrixに切り替えました。
Stability Matrixとは、Stable Diffusionを含むAI画像生成ための各種WebUIツールをPythonやGitHub等をインストール不要で環境構築できるツールのことです。
…GitとかPythonとか入れる必要なかったじゃん😂
起動やモデルの追加もボタンひとつぽちーでできるのでコマンド操作が苦手な人はこっちの方がよいです。以下のような記事を参考にしました。

好みのスタイルの探索

ここまでで画像生成ができるようになったので、好みの絵を作れるように調整していきます。

理想のモデルを探す

自分の作成したい画像に近いモデルを探します。
モデル（ファイル）とは、特定の画像生成をするために訓練させたデータファイルのことです。それぞれのモデルは異なる画像で学習されており画風やスタイルが異なります。例えばリアルな写真に近い画像が生成できるモデルもあれば、日本の漫画風の画像が生成できるモデルもあります。
モデルはcivitaiといった画像生成モデルのDLサイトで探します。Stability Matrixではツール画面内で直接civitaiのモデルを探してダウンロードすることもできます。

わたしはアニメ風の画像が好きなので以下をダウンロードしました。

プロンプトを模索する

モデルが手に入ったのでプロンプトを記入してガチャ開始です。
プロンプトとは、AIに対する指示のことで、画像生成AIの場合は単語をいくつも並べていきます。例えば以下のようなプロンプトを書いて先ほどのCounterfeitモデルで画像生成をすると…

((masterpiece, best quality)),a girl, solo, serafuku, thighhighs, skirt, lying, ribbon, upperbody, class room, indoors, shirt, neckerchief, school uniform, 
long hair, black thighhighs, looking at viewer, blue eyes, black serafuku, black skirt, red ribbon, long sleeves, pleated skirt, blonde hair, wood floor
Negative prompt: (low quality, worst quality:1.4), (bad anatomy), (inaccurate limb:1.2),bad composition, inaccurate eyes, extra digit,fewer digits,(extra arms:1.2),
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 8, Size: 640x384, Denoising strength: 0.6, Clip skip: 2, Hires upscale: 2, Hires upscaler: Latent

以下のような画像が生成されます。

初めはどんなプロンプトを書けばいいかわからないと思うので、画像のプロンプトを確認できるサイトで他人の書いたプロンプトをチラ見しつつ、経験を積んでいく感じになります。例えば以下のようなサイトでプロンプトを見ることができます。

この段階で以下のようなアイコン画像を生成することができました。自分の好みとして、画像生成AIっぽすぎないラフな絵柄が好きなのですが、そのテイストがだせたと思います。

スタイルの調整

ControlNetを試す

好みの絵柄が出せるようになってきたので、次にControlNetを試してみます。
ControlNetとは、新たな条件をStable Diffusionに与えることで細かなイラストの描写指示を可能にする拡張機能のことです。これを使うことでポーズや構図の指定をすることができます。
ただ拡張機能をいれて、ControlNetのモデルを導入すれば使えるはずなのですが…この作業が意外と難航して、しばらく時間を使いました。
しばらく格闘した結果、間違えてSDXL用のControlNetモデルを入れていたこと、モデルを入れるフォルダが間違えていたことが判明しました。わたしが使っているStable DiffusionはSD1.5なのでSD1.5用のモデルをダウンロードし直し、さらにStability Matrix使用時の正しいControlNetモデル用フォルダに入れたところ、無事動いてくれたのでほっとしました。機能によってできることがひとつ一つ違うので今後少しずつ試していきたいと思っています。

LoRAを試す

次にLoRAを試してみました。
LoRAとは、AI画像生成の追加学習データのことです。これを使用するとより精密に同じキャラクターや絵柄を作成することができます。
正直ここは…まだ勉強中です。自分のオリジナルキャラ等でLoRAが作れたら楽しいんだろうなと思いつつ、手をつけれていないです。
以下画像は試しにCutedoodleというかわいらしい絵柄になるLoRAを使ってみました。

さいごに

ここまで読んでくださってありがとうございます。現在進行中で模索中の部分が多いので、各操作のより詳細を書いた記事や、今後の模索についても記事にしていくかもしれません。引き続き画像生成を楽しんでいこうと思います。ではまた。