[期間限定無料記事] Stable DiffusionでAI時代のキャラクター開発！最適LoRAモデルの比較実験
「Stable Diffusion でイラストを生成すれば、キャラクターのIPを運営できるのでは？」と考えたことのある方は多いのではないでしょうか。
AICU mediaでもすでに VRoid Studioを使ってキャラクターLoRA（追加学習）を生成する記事を公開しており人気です。
最近では、BlendAI 社が「デルタもん」というオリジナルキャラクターを展開しています。これは二次創作においてAIが関わっている場合のみ許可されるという、新しい運用方針のキャラクターです。
クラウドファンディングのおかげもあり、3Dモデル(VRM)の配布、LoRA配布そしてその学習用データども一定の規約のもとに、自由に利用することが可能です。
■アルファパラダイス 開発者支援プログラム
本日、下の方にダウンロードリンクが追加されました。
一般的に、画像生成AIを使って特徴のあるキャラクターを生成しようとすると、プロンプトだけでは一貫性を保てなかったり、パーツの特徴や画風が再現できないことが多いです。表情やポーズをコントロールしようとすると、長いプロンプトがさらに長くなってしまいます。安定したキャラクターの運用をするために、目的に応じた追加学習としてLoRAを使うことは良い方法です。
Niji・Journey（にじじゃーにー）でも最近「スタイルリファレンス(sref)」や「キャラクターリファレンス(cref)」といった機能が追加されました。
https://note.com/aicu/n/n93c544b6123d
プロンプトで作る「デルタもん」
BlendAIさんが本日開催した勉強会によると、「デルタもん」は以下のプロンプトで生成できるようです。
プロンプト
1girl, solo, looking_at_viewer, smile, fullbody, android, joints, one_mechanical_slender_tail, (blue thighhighs:1.4), (green hair:1.2), (pink backpack:1.2), (blue dress:1.2), (yellow tie:1.2), (pink boots:1.2), (white detached_sleeves:1.2), animal_ears, randoseru, short_hair, hairband, earrings, cat_ears, cat_tail, blue_eyes
ネガティブプロンプト
(worst quality:1.4), (low quality:1.4), (monochrome:1.3), (bad anatomy, bad hands:1.4), (watermark, username:1.2), lowres, text, error, missing fingers, extra digit, fewer digits, cropped, normal quality, jpeg artifacts, nsfw
「デルタもん」っぽくなりました！
でも「デルタもん」のように記述するべき特徴が細かく、一般的でなく難度が高いキャラクターの場合はプロンプトで記述するだけでは漫画やグラフィックデザインとして安定した画風やキャラクターとして成立させることが難しいかもしれません。ここはLoRAを使いたいところです。
そのような背景から、今回の記事では、BlendAIさんから頂いたデルタもん画像を題材にキャラクターLoRAを制作していきます！
✨️今回の記事の内容をもっと詳しく解説したワークショップを5月15日(水)に開催予定です。プロフェッショナルな広告、映像製作、キャラクター運営や漫画制作のためにキャラクターLoRAを作りたい方は必見です！
ワークショップ詳細、申し込みページ→（https://techplay.jp/event/942272）
【Stable Diffusion でデルタもん LoRA を作ろう！】「画像生成AI Stable Diffusion スタートガイド」 #SD黄色本 公式ワークショップ
データセットを用意する
まずはLoRA制作に必要なデータセットを用意しましょう。
今回使用するデータセットのベースになるのは、AICU 社が BlendAI 社からワークショップ用にいただいたデルタもんの3Dモデルのスクリーンショットのファイルです。
この2番目のリンクからダウンロードしてください。
さらにAICUとしては、様々な表情のデルタもんを生成できるようにしたいと考え、ここに表情差分を追加しました。
✨️この追加データセットは5月15日のワークショップ参加者に配布し、当日は参加者の皆さんと一緒にLoRAを制作する予定です！
LoRA学習を実行する
さて、表情豊かなオリジナルLoRAが作成できるでしょうか？
機械学習を始めていきましょう。
ここから先は SD黄色本の掲載スクリプトを使用します。
こちらのスクリプトを使用します。
https://j.aicu.ai/SDLoRA2
スクリプトを Colab で開き、手順に従って情報を入力して学習を行います。詳しい設定は5月15日のワークショップにて解説します。
モデル選定と比較評価
次に画像生成に使用するモデルを選択します。
今回は気軽に作れるStable Diffusion 1.5系のキャラクターイラストLoRAを作ってみます。
今回は比較実験として AnyLoRA、Counterfeit、Anything の3種類のモデルを使用して生成し、比較してみました。
プロンプト
masterpiece, best quality, ultra detailed, anime screencap, mascot character, (((full body))), 1girl, (((chibi))), raising one hand, open mouth, yellow triangle tie, blue onepiece dress, green short hair, cat ears, cat tail,smile, pink shoes, <lora:Deltamon_ver3:0.75>, flat chest, white background
ネガティブプロンプト
worst quality, low quality, bad anatomy ,(MajicNegative_V2_0.8), big chest, chest
AnyLoRA
完璧とはいえませんが、なかなか良い結果ではないでしょうか
ちゃんと表情もポーズも動いています。
AnythingXL_incBase
線や色は安定しているけれど、絵柄が古くなってしまう感じがします
counterfeitV30_v30
色が鮮やかになり、体の線が細くなっています。
表情やポーズ、角度が画一的になる傾向があります。
結果として書籍やサンプルコードで紹介しているAnythingが一番いい結果になったかなとみております。もちろん評価の方法は使用目的や使えるライセンスにもよって変わると思いますが、参考になったようであれば幸いです。
まとめ：SD1.5系ならAnyLoRAがよさそう
以上、Stable Diffusionを使った生成AI時代のキャラクターを開発として、オリジナルのキャラクターLoRAの最適モデルを比較実験いたしました。
BlendAIさんからは今後もAIで活用できるキャラクターのクラウドファンディングプロジェクトを準備しているそうです
AICUではプロフェッショナル向けのAIキャラクター運用のコンサルティング業務も行っております。
ワークショップご参加の際にも、お問い合わせいただければ幸いです。
皆様にお会いできますことを楽しみにしております！
【Stable Diffusion でデルタもん LoRA を作ろう！】「画像生成AI Stable Diffusion スタートガイド」 #SD黄色本 公式ワークショップ
https://techplay.jp/event/942272
追記：BlendAIさんからニュースです！
以下のクラファンが本日より開始とのことです。
✨️【デルタもん】プロ声優公認！全員が使えるAIボイスアプリ制作・ボイス素材配布
✨️本記事はBlendAIさんのご提供により、
期間限定無料公開とさせていただいております。
ここから先は
この記事が気に入ったらサポートをしてみませんか？