長い間、毎日日本語を熱心に勉強し続けていましたが、最近さぼるようになりました。
なぜ？
全てはAIアートを始めたからです。

先月から自分のモデルを訓練して、私が持っているギャルバースのギャル（クルミちゃん）はAIモデルになり、パンドラの箱を開けたような気分で、夢中になりました。アートスキルなしで、PFP画像から５秒で全身像にするのは、めちゃくちゃ楽しいです。

この結果はすべてtext2img機能から作られましたが、最近 Img2Imgの機能から動画を作ってみたいです。
そして、最近 Controlネットというモデル拡張が開発されて、img2imgの機能は飛躍的に向上しました。

今回の記事では、「ControlNetは何ですか？」と「私の最近の結果 」を紹介してあげます。
この記事では、自分でセットアップする方法については、Qiitaブログで詳しく書く予定なので、深入りしない。(完了する際にリンクを付けります）

Control Net とは

コントロールネットはAIアートのDiffusionモデル中でニューラルネットワークを包むものです。
新しい入力画像を追加して、AIアートのモデルの出力を目的の出力に誘導することを可能にする 

https://github.com/lllyasviel/ControlNet

COntronネットは輪郭やポーズ検出などのモデルやアルゴリズムからの予測を使用しています。現在(2023/02) 8種類があります。今日 は、CannyとDepthのmapを紹介してあげます。

Cannyという手法は輪郭検出のアルゴリズムです。pythonのCV2のモジュールではよく利用している機能です。
Cannyは体の輪郭や詳細の
Depthとは「DepthMap」です。画像の深度情報を作成して、視点から物体の距離を表すことができます。

CannyとDepthのテスト

漫画画像から結果を調べてみましょう。最近「推しの子」を読んでいるので、カワイイMemちょを題材にして、私の開発のキャラモデル(SallyDangerのLora)を利用して、変化してみましょう

2つの方法を比較すると、Depthが画像をさらに変化させるため、cannyは入力画像に近い状態を保ちます。そして、Depthの場合は、キャラのモデルとそっくりです。それは

動画作成のテスト

上記の例から、Depthの手法は元の画像のポーズを保ち、大きなキャラの変化もできます。これは、素晴らしい改変映像の可能性をたくさん秘めていますね。次のテストでは、AI動画を作ってみましょう。

しかし、動画でAIを使いたい場合、各フレーム間の整合性の問題があります。動画で同じのキャラを変化したいですが、もしかし、急に別のキャラやフレームの間に大きな変化があったら、ちょっと違和感がありますね。

Lora

私は現在実験中ですが、Loraのモデルを共に利用したら、その問題を解決できます。(Loraのモデルは次回の記事です）Loraのモデルは30分以内で、対象のキャラのモデルを訓練させることができます。高級なパソコンは必要ないです。無料版なGoogleColabは十分です。そして、Kohyaさんは、簡単に使えるノートブックを作ってくれたので、コードの勉強をする必要はありません。

AI動画作成

今回、Tiktokのダンス動画を支配されているmumeixxxさんの動画を作ってみます。最初に、整合性がある結果を追究します。このステップではプロンプトの設定を微調整するために、多くの試行錯誤が必要です。（設定の動画参考)

よさそうな整合性の結果をゲットしたアットで、Batchモードを使います。これは、上記の結果と同じプロンプトを取り込み、1フレームごとに実行します。200枚以上のフレームがあり、一時間ぐらいかかりました。そして、その後、GIFに合成しました。

結果画像は、YouTubeで投稿して、ぜひご覧ください

それぞれのフレームでは、同じの顔や髪色や服スタイルを一貫してキャプチャしましたが、各フレーム間で背景や細かいディテールにかなり変化があります。まだまだ実験中ですね。

結論

ControlNetを使えば、希望の通りにAIアートを作成できます。そして、このツールは、まだまだ発展途上の素晴らしいツールです。執筆時点 で　公開から一ヶ月も経っていません。この現実はちょっと怖いです。AIアートの進歩は目にも止まらぬ速さです。また、今後数ヶ月の間に多くの改善が見られることを期待しています。

ContronlNetを使ってみれば、ぜひ結果は私に共有してください (Twitter: JarvisSan22)