はじめに

Leonardo.AIが、4月20日に、Image Guidanceの新機能として、Style Referenceをアナウンスしました。これは、Stable DiffusionのControl Net技術を用いたもので、Leonardo.AIでは、Image Guidanceと呼んでいる機能の一つとなります。

また、4月22日に新しいElementとして、Solarpunkが追加されました。こちらは、XL系のモデル用となります。なお、Elementsも、Leonardo.AIでの用語で、Stable Diffusion系では、一般的にLoRA（Low-Resolution Adaptive Weighting）と呼ばれる技術です。

今回は、この2つの機能で、それぞれ画像を作成し、その機能と効果について、具体的に見てみたいと思います。

Style Referenceについて

本機能については、Leonardo.AIのホームページの左側に並んでいるメニューリストのAdvancedの下にあるWhat's New （新着情報） に、簡単な説明があります。

NEW! Style Reference:
Style Reference generates an image borrowing aesthetic qualities from a reference image. See the example below.

新！スタイル参照：
Style Referenceは、参照画像から美的品質を借りて画像を生成します。以下の例をご覧ください。

また、その縦列の下にあるFAQ & Help をクリックするとHelpのページに飛ぶことができますが、All Collections > Feature releases > Image Guidance でImage Guidanceのページに行くと、紹介するフレーズが新たに追加されています。

🔥 New Update: Style Reference has been added to Image Guidance. Generate new images utilizing styles from an reference image easily with this new option!

🔥 新しいアップデート： Style Referenceがイメージガイダンスに追加されました。この新しいオプションを使って、参照画像のスタイルを簡単に新しい画像に適用することができます！

はっきり言って、わかりにくいですが、要は、参照する画像を準備してレファレンスとして設定すると、その画像のスタイルを解析して、その結果を画像生成用のプロンプトに適用して、新たな画像を生成する、ということのようです。

なんとなく、以前からあるimage to image と似ているような感じもあります。

image to imageの説明

Detects the color pattern, and the overall entire look view of an input image, and will use this to guide your image generations
入力画像のカラーパターンと全体的なルックビューを検出し、これを使用して画像生成をガイドします

Style Referenceの説明

Extracts the style from a reference image and injects it into your generated image
参照画像からスタイルを抽出し、生成された画像に挿入します

違いがわかるような、わからないような、、ですが、Style Referenceの方が、より高度な解析を行うのかもしれません。
実際に色々試してみようと思います。

Style Referenceの使い方と注意事項

先ほどご紹介したWhat's Newに、使い方の手順が記載されています。
日本語訳で示します。

• スタイル・リファレンスには、Image Generation・ツールのImage Guidance・タブからアクセスします。

• この機能にアクセスするには、XLモデルを選択していることを確認してください。

• あるイメージから別のイメージへ、簡単にスタイルを直接デザインに適用できます。

• ファッションやインテリアデザインからストーリーテリングやマーケティングビジュアルまで、一貫したスタイルが重要な様々なクリエイティブ用途に最適です。

• 画像をアップロードし、スタイルの強さを設定するだけで、あなたのビジョンが実現します。

また、使う際の注意事項等が、Style Reference Tips:　として、Helpの説明にあります。こちらも、日本語訳で示します。

• Style Referenceには、望ましくない特徴（顔の特徴など）が含まれる場合もあります。そのような場合、効果を打ち消すために、プロンプト内の特定の特徴の強度を減らすか、重みを増やすことをお勧めします。

• 高度にスタイライズされた画像の場合、より良いスタイライゼーション結果を得るために、強度をHigh〜Maxに増やすことをお勧めします。

• Style Referenceは、Depth-to-Image および Edge-to-Imageと一緒に使用して、既存の画像のスタイルを再設定することができます。ただし、Image to Imageは使用できないことに注意してください。

• より良い品質のために、Lightningモデルの代わりに通常のSDXLモデルの使用をお勧めします。

• スタイル参照には、1つの画像のみを使用できます。

Style Referenceの適用事例

以下に、実際に適用した場合の実例を示します。今回は、次の3種類の画像用のオリジナルのプロンプトをベースに用いてみました。また、リファレンス画像は、ホームページに最初に示されるRecent Creationsから適当に選んで用いました。ただ、ホームページに並んでいる順番と参照の際に選ぶ時の順番が違ったり、へたすると無い、などということもあり、これの画像を残そうとすると、サーチが結構大変でした。
それは、さておき、、用いたのは、次の３つです。

１．白魔術の魔女、フィオナさん
２．黒魔術の魔女、ベラドンナ様
３．緑色の目の本好きの子猫、ジェイド君

リファレンス画像としては、次の３通りの画像を想定しました。
A.　特定のコスチュームをした人物画像
　　その特徴を抽出して、生成画像にどのように反映されるか？
B.　風景もしくは、部屋等の画像
　　風景との関係？
C.　やや抽象的なイメージ画像
　　イメージ画像が生成画像にどのように反映されるか？

A. リファレンス画像A-１の場合

騎士のコスチュームを着た女性の画像です。

１．白魔術の魔女、フィオナさん
モデル等の設定を以下に示します。

Pipeline：Alchemy V2
Preset：Cinematic
PhotoReal：On
Model：Leonardo Kino XL
Workflow：PhotoReal v2
Image Guidance：Style Reference；1.60（＝Ultra)

これは、もともとキャラが近い感じではあるのですが、コスチュームに加え、背景にもリファレンスの影響がかなり反映された画像が生成されました。

２．黒魔術の魔女、ベラドンナ様

設定：同上

このキャラは、黒い帽子を被って登場することが多いのですが、その帽子が、リファレンスに影響されています。コスチュームも同様です。
魔女のイメージが戦闘的で、こちらの方がリファレンスのイメージをよく反映しているようです。なお、このような画像もあります。

族長、といった雰囲気がでています。

３．緑色の目の本好きの子猫、ジェイド君

設定：同上

首輪と尻尾の色などにリファレンスのイメージがでています。

人物をリファレンスにした場合は、そのコスチュームや背景のイメージを新たな生成画像に反映するようです。金色と淡いブルーが背景にもでています。

B. リファレンス画像B-１の場合

白い部屋に椅子と花がおいてあります。

１．白魔術の魔女、フィオナさん

設定は、同じです。
Pipeline：Alchemy V2
Preset：Cinematic
PhotoReal：On
Model：Leonardo Kino XL
Workflow：PhotoReal v2
Image Guidance：Style Reference；1.60（＝Ultra)

長椅子は、なくなりましたが、白い花がたくさん登場しています。この、レファレンスの雰囲気の部屋にフィオナさんが登場しました。まさに白魔女です。
アップはこんな感じになります。

ちょっと、貫禄があります。女王様の雰囲気です。花は、ユリというより蓮の花みたいです。
これにAlchemy Upscaleをかけると、こんな感じになります。

少し若返って、きれいになった印象を受けます。（Low/On)
ちょっと、一筋縄ではいかない感じではあります。

２．黒魔術の魔女、ベラドンナ様

設定は同上です。

白い部屋です。長椅子は、ありません。そして、なんと、大輪の花は無くなり、バラ？のような花が登場、かつ燃やしちゃってます。
このような演出は、黒魔術の魔女をよく理解して生成しているように見えます。なんか、すごいです。アップ画像はこんな感じです。

手には、花ではなく、炎があります。

３．緑色の目の本好きの子猫、ジェイド君

設定は、同上です。

花のある白い部屋に、本好きの緑目の子猫ジェイド君登場です。

リファレンス画像として白い部屋を設定したところ、各画像にちゃんとその環境が設定されました。風景との組み合わせは結構使える感じがします。

次に、Cのやや抽象的なイメージ画像とBの要素が組み合わせを参照してみます。

C. リファレンス画像C-１の場合

湖上か海上に水滴が浮かんでいます。遠影として、朝焼けもしくは夕焼けの陸地がぼんやり見えています。そらには、ぼやけた太陽と雲があります。

１．白魔術の魔女、フィオナさん

設定は、同じです。
Pipeline：Alchemy；V2
Preset：Cinematic
PhotoReal：On
Model：Leonardo Kino XL
Workflow：PhotoReal v2
Image Guidance：Style Reference；1.60（＝Ultra)

リファレンスから、水滴、水上、夕方、が反映されています。水上から出ている木は、オリジナルプロンプトの表現のためです。太陽ではなく月ですが、これはこれで、いいかと。
アップ画像は、こんな感じです。

水滴のイメージが、魔法の杖に反映されたようです。
これは、Alchemy Upscale（Low/ON)をかけた結果です。

２．黒魔術の魔女、ベラドンナ様
設定は同上です。

炎の黒魔女、再び登場です。なんとなく怖いけど魅力的です。
先ほどと、背景のプロンプトは全く異なるのですが、同じような背景で登場しました。参照画像の影響が強くでているようです。強度がUltraのためかとも思います。

このプロンプトのアップ画像のケースで、次のような結果が得られました。

なんか、どこかのブランドのコマーシャル用フォトのようです。
黒い唇がここでは自然です。

最近は、3枚同時に生成することが多いのですが、どれか一つを選ぶ場合、３つの方が選びやすいように思うからです。今回は、どれもいい感じでした。
そのもう一つが、これです。

なかなか、アンニュイな感じの表情がいい雰囲気を醸し出してます。この黒魔女のキャラの場合は、Alchemy Upscaleをかけない方が、一般的には、いい表情が得られるようです。
使うなら、Universal Upscalerの方がいいかもしれません。

３．緑色の目の本好きの子猫、ジェイド君

設定は、同上です。

目の緑色がはっきりとしています。また大好きな本も出ています。いくつかある水滴のようなものが、リファレンス画像の影響だと思われます。後ろの渦巻きもそうなのかもしれません。このようなのは初めてです。

Image to Image とStyle Referenceの違いについて

これらの生成画像をみて、特に感じたのは、Image to Imageとの違いです。
Image to Imageの場合は、音源の合成方法でいえば、FM変調のような感じです。画像に画像を掛け合わせて変調させて画像生成するイメージです。

その結果、オリジナル画像とプロンプトからは全く違う結果が得られます。予測困難です。まさしくFM音源と同じです。

ところがこちらは、いい感じの一次独立の足し算といいますか、それぞれの特徴は、ある程度独立性を持って活かしつつ、それらをうまく組み合わせた結果が得られるように感じます。

予測しやすいと言えます。

Solarpunkの適用事例

次に新しいElementのSolarpunkを適用した例を示します。

3種類のキャラで示します。設定条件は同じで以下になります。

設定条件
Pipeline：Alchemy V2
Preset：Dynamic
Finetuned Model：Leonardo Lightning XL
Elements：Solarpunk；0.70

速さが売りの新しいモデルであるLeonardo Lightning XLを使ってみました。
これの生成速度は、設定にもよりますが、12秒ほどです。
KinoXLなどでは、40秒前後待ちますから、3〜4倍程度速いようです。
また、同時にリリースされているAnimeXLは、27秒前後のようです。SDXL系よりやや速いといった感じでしょうか。

Lightning XLで生成された画像は、KinoXLに比べややコントラスト比などの加減が弱く、生成画像の種類によっては質が少し下がる感じもします。

１．白魔術の魔女、フィオナさん

なんか、エコのグリーンと太陽光パネル、そして少しSci-Fiっぽいということのようです。

２．黒魔術の魔女、ベラドンナ様

こちらは、少し、Cybertec的な感じがでています。
ただ、黒魔女っぽい感じは削がれてます。これではただの戦闘員です。

３．緑色の目の本好きの子猫、ジェイド君

これは、Cybertecなどの結果に一層近いようです。ただ、大好きな本の上に、こわれた太陽光パネルが置かれています。

これらのキャラの例への本Elementの単体での適用事例では、はっきり言ってあまりインパクトを感じられません。
なんか、ちょいと未来の太陽光パネルの廃墟に緑が勝って生い茂った殺伐とした環境を描くにはいいかもしれませんが、それはかなり特殊な用途です。

ところが、先程のStyle Referenceと組み合わせると、違う印象を受ける画像を生成しました。

Style ReferenceとSolarpunkを組み合わせた例

以下の設定で、Style ReferenceにSolarpunkを組み合わせた例を示します。

設定条件

Pipeline：Alchemy V2
Preset：Dynamic
Finetuned Model：Leonardo Lightning XL
Image Guidance：Style Reference；1.60
Elements：Solarpunk；0.70

参照画像

１．白魔術の魔女、フィオナさん

Alchemy Upscale（Low/ON)をかけています。

肩から袖のあたりの色と形状、及び、魔法の杖の先端などが、本Elementの影響かと思われます。いい意味で効果的です。0.7とやや高い強度設定の割には、比較的自然に見えます。

２．黒魔術の魔女、ベラドンナ様

胸の銀色の部分や、左手にもっている枝らしきものなどが、本Elementの効果と思われます。これには、Alchemy Upscale（Low/On)をかけています。

やはり、Lightning XLは、画像生成能力がやや低いようです。顔があまりきれいに生成されません。また、表情に乏しい印象です。

３．緑色の目の本好きの子猫、ジェイド君

本や机の上に、ガラスのかけらのようなものが出現しています。また、首輪が少しCybertech的になっており、これらが本Elementの影響と思われます。

いずれの適用事例も、単体で用いた場合に比べ、強度がやや強めに設定している割には、画像に対して効果的に効いているように見えます。

このように、本Elementは、Style Referenceなどとうまく組み合わせることにより、やたらと太陽光パネルが出現するステレオタイプ的ではない使い方もできそうです。

Controle NetとLoRA

最後に今回の用いた機能のベースとなるControle NetとLoRAについてですが、これらについては、他の資料に説明がたくさんあろうかと思います。
ちなみに、Geminiに、この２つの比較表をつくってもらいましたのでご紹介します。

まとめ

Style Referenceを用いて、３つのタイプの参照画像をもちいて、それぞれに３つのキャラのプロンプトを適用して具体的な画像をいくつか生成してみました。

Style Referenceは、参照画像の特徴をかなりうまく抽出して、オリジナルのプロンプトによる画像に、それらの特徴を加味することができるようです。
ある程度、それぞれの足し算的な生成結果を得ることができるので、生成画像を容易に予測することができ、使いやすいともいえそうです。

そこが、掛け算的に画像に変調をおこない、生成結果の予測がやや困難なイメージのImage to Imageとの大きな違いと思われます。

最後にトップ画像は、Style ReferenceとSolarpunkとを用いて、下記の参照画像を基に作成したものです。

レファレンス画像B-２

これは、宇宙といいますか、惑星表面といいますか、ちょっとありそうで無い世界です。

主な設定値
Pipeline：Alchemy V2
Preset：Dynamic
Finetuned Model：Leonardo Lightning XL
Image Guidance：Style Reference；1.60
Elements：Solarpunk；0.70