DALL-Eにもインペイント(部分修正)機能がやってきた

インペイント、アウトペイントとは

もともとDALL·E2には、主に「inpainting」と「outpainting」という二つの機能が含まれています。これらの機能を使って、ユーザーは既存の画像を編集したり、画像の境界を超えて拡張したりすることができます。

Inpaintingでは、ユーザーは画像の特定の部分を選択して編集することができ、選択した部分に新しい要素を挿入したり、既存の要素を変更したりすることが可能です。このプロセスは、画像内の一部を「塗りつぶす」ことに相当します。この機能は、ユーザーが画像の一部を消去し、その領域を新しいテキストプロンプトに基づいて生成される内容で置き換えることを可能にします。

Outpaintingは、画像の既存の境界を超えて、新しいビジュアルエレメントを加えることができる機能です。ユーザーは自然言語の説明を使用して、オリジナルの画像をどのように拡張したいかを指定でき、システムはその説明に基づいて画像の新しい部分を生成します。Outpaintingでは、影、反射、テクスチャなど、画像の既存のビジュアルエレメントを考慮して、オリジナルのコンテキストを保ちながら画像を拡張します​ (OpenAI)​。

この機能はStable DiffusionやMidjourneyではかなり多用されていますが、DALL-Eではまだ使い勝手がよくなくあまり活用できませんでした。

インペイントがチャットで使えるようになった！

そこに先ほどOpenAIがこの機能をWeb, iOS, Androidに広げてくれたという発表がありました。

漫画でインペイントって需要あるの？

これは、漫画に限らずですがめっちゃあります。ざっと考えるだけでもこんなところでしょう。

• 手、指や足の本数の修正

• 服装の修正

• 髪型の修正

• 人物の置き換え、追加

• その他

他にもいっぱいあります。クオリティは高いのにちょっと髪型が違うだけで使えない絵っていうのはよくありますし、手や足はいわずもがなですね。

たとえばこのシーン左側のカレル、怖い表情がなかなか出なくてようやく顔だけはそれっぽいものが出たんですが、

実際はトンガリ耳のゴブリン顔でした

この時は力尽きて吹き出しでごまかしました🤣
でも本当に捨てるのがもったいない、いい表情のやつとかいっぱいあったんです。

他にもこの絵、構図的にも表情的にもイメージ通りだったんですが、髪型違うし胸元開きすぎたし…ということでボツにしました。

実際に使ったのはこちらなんですが、未だに上の画を使いたかったなぁと感じます。

というわけで、インペイントができればこういった惜しい絵を救済できるのでとても頼もしいです。

Stable Diffusionとか使えば良くない？

おっしゃるとおり…ですが実はDALL-E3にしかできなかったことがあって、それが上記の例のエストニアの民族衣装の生成です。本物に近い、クオリティも高い精度で再現できていたので、DALL-E3を選びました。

実際に使ってみた

前置き長くなってしまいすみません。ここから使ってみたやつです。先に期待を裏切ることを言うと、ちょっと使い道は絞ったり工夫する必要があります。

その理由は下記を見ればわかります😅

表情を変える

まずはモデルを用意しました。上記でも紹介したマンガ「レヴァルの魔女」より魔女アリーサさんです。

結果は……

悲しい顔

これは、完全に笑かしにきてますね。どこからつっこんだらいいんてしょうか。

同じモデルで今度は驚いてもらいましょう。

びっくりした顔

ちょっとつらくなってきました
イージーそうなやつにしてみましょう
髪の色を変えてみます

黒髪に変更

なんだかベタ塗りですが、まあマシでしょう。
じゃあ髪型変えてみましょう。

ロングヘアに変更

フリーダみたいになりました

では服装いってみましょう

黒い服に変更

やっとインペイントらしい感じになってきました

彼女は現代から中世に転生してるんですが、現代では看護師なのでその服装を出してみましょう

看護師の服に変更

エストニアなので、本当は青いんですけどね。全然ありでしょう！

足の本数を修正

ではここでモデルを変えて、足の数を修正してみましょう

結果は

何回か出せばいい感じにできそうですね！！

DALL-Eのインペイントはまだまだこれから？

いかがでしょうか。書いてなかったので分からないんですが、多分APIと同じでDALL-E2をつかってるんじゃないですかね
ちょっともとの絵から比べると、クオリティがイマイチな気がします。

とはいえ、プロンプトのせいっていうこともあると思うので、もう少し研究してみたいと思います！

実験的に生成AIを使った漫画のマガジンも作っています。2週間に１作品程度のペースでアップしてますので、是非フォローしていただける嬉しいです