Stable Diffusion WebUIのControl Netで、Tileに新しく2つのプリプロセッサが追加されたので備忘のためこの記事を書きます。

1. Control Netとは？

備忘のためですが、ふらっとここにきてしまった方のために簡単にControl Netの解説をします。

Control NetはStable Diffusionで使用するExtension（拡張機能）の一つです。

Control Netの導入前、Stable DiffusionなどのAI画像生成技術は、一定の品質の画像を生成することができましたが、その結果はまだ不完全で、画像の詳細度、色調、スケーリング、構図などを細かく指定できないという問題がありました。従って文字のプロンプトを入力して何十、何百と生成を行って（いわゆるガチャ）お気に入りの1枚が出てくるのをひたすら待つ必要があ
りました。

こうした不安定要素をControlするための拡張機能がControl Netです。細かい解説はNoteの中にもたくさんあると思いますのでそちらを参照してください。
Control Netで制御できるものの一つに「画像のアップスケーリング（拡大）時の詳細制御」というものがありました（通称Tile）。これがなかった時代はアップスケールをするたびに詳細（構図や色調）が失われることがあり、結果として生成された画像が元の画像から大きく変わってしまうこともありました。

しかし、Control Netの導入により、これらの問題が大きく改善されました。Control Netは、AIが生成する画像の詳細度を大幅に向上させることができるとともに、色調の調整とスケーリングの改善を行うことができました。

さらに、Control Netのタイルベースのアップスケーリング技術は、「AIアップスケーラー」と比較して、より多くの詳細を画像に追加できます。

Control Netの導入は、AI画像生成の品質と可能性を大幅に高める革命的なステップであり、AIが生成する画像の詳細度と忠実性の向上に大いに貢献しています。

2. Control Netの3つのモード

そのTileによるアップスケーリングですが、v1.1.196で2つのプリプロセッサが追加され、もともとあったものと合わせて3つのモードから選択可能になっています。

2.1 Tile_resample

一つ目のモードはTile_resampleで、これはv1.1.196以前からありました。これを使うことで特に、顔や髪のような領域において、多くの詳細を追加する能力があります。
例えば元の絵が下図のようなものだったとします

これをTile_resampleを使ってアップスケールしたものがこちらです。書き込みは細かくなりました。が、少し色彩が淡くなってしまっています。

2.2 Tile_colorfix

Tile_colorfixは色調が淡くなってしまうことの修正を目的としたプリプロセッサで、タイルが時々引き起こす色のずれを修正します。しかし、Tile_colorfixは色を固定するため、ユーザーの指示（プロンプト）を優先したいモードでも色を編集することはできません。したがって、特定の色を変更したい場合には制約となります。Tile_colorfixはバージョン1.1.195で追加されました。

Tile_colorfixを使うことで色は鮮やかなままアップスケールすることはできます、がシャープさは失われてしまいました。

2.3 Tile_colorfix+sharp

Tile_colorfix+sharpは、Control Netタイルの出力の色調に加えて鮮明さを制御するためのモードです。これにより、タイルモデルがあなたの画像を拡大したときに色調の崩れと鮮明さの崩れの双方を防ぐことができます。Tile_colorfix+sharpはバージョン1.1.196で追加され、おそらく現時点ではControlNetの画像の拡大における新しい最善の方法となりました。

3. 結論

最善の方法が出たのであれば、それ以前の方法は消してくれよと思わなくもないですが、現時点で3つのモード共に選択可能となっています。

使ってみた感じだとControlNetの新しいモードであるTile_colorfix+sharpが、画像のアップスケーリングにおいて最善の選択肢となるというのが書簡です。
このモードは、色のずれを修正し、鮮明さを制御することができるため、詳細を追加することを好むユーザーにとっては特に魅力的な選択肢となります。

備忘メモおわり