こんにちは
早速、前回の続編になります。
前回はprompt-travelを弄って、xyz prompt的にパラメタをちょい変えして比べられるようにしました。

ソースはどこ！？という声が聞こえますが、もう少しだけお待ちください。
公開予定なのですが、まだ調整中となっております。

で、今日は以前の記事で使ったサンタ動画をもう少しキレイにしてみたいなと思って書いてます。

今回のおかずはこちら！

これ、いまいち伝わってないのですが、すごい絵がキレイになるIPAdapter みたいな使い方ができます。
私もフォークしたソースにコレをぶち込もうと思ってたのですが、気が付いたら本家が先にリリースしてました。（すごいね）

これ、とりあえず何も考えずデフォルト値（1.0）で元の絵を食わせて動かしてみたところこんな感じになりました。

ちょっとややこしいんですが、そもそもprompt-travelで作る時に背景の影響を消したかったので、maskを作ってそのmaskの絵をgenerateしてるのでグリーンバックになってます。
で、デフォルトの強度1.0で入れてみたので背景が同時に強く影響されて結果が緑背景になりました。洋服にも影響がかなり強く出てますね。
どちらにせよ、入れるだけで絵がかなりキレイになっています。

なーのーで、open_poseとanimatediff_cnの強度をまたｘｙｚ形式でいっぱい作って、ベストを探してみようと思います。
今回はそれに加えて、Refine処理も入れました。
Refine処理は動画作成後に解像度を上げる際に使うんですが、顔がつぶれている時とかに有効なので、今回もきっと有効でしょう。

OpenPoseはポーズをどれだけ強制で取らせるか？だけみたいで描画には関係ないのかな？強引なポーズにすると絵も崩れるイメージだったんですが意外に関係なさそうです。
となると、残るはAnimatediff_controlnetの影響のみ！

Open_pose固定で0.6 - 1.0でやってみると、0.8以上は元の絵のグリーンバックの影響が出てきてますね。背景も寂しくなってる…
これはもしかすると、もっと少なくてもいいのかも？
というわけで0.1-0.5も見てみました

0.5を下回ると、背景がガラっと変わりました。
こうしてみると0.5がバランス良さそう！

完成版はこちら

おーなんか意外とキレイになってる！
やっぱり新型CN、大分使えると思う！

https://www.tiktok.com/@ai_hinahina/video/7309849091821817096

Animate AnyoneとかStableVideoとか色々あるけど、ちゃんとやればキレイなの作れる時代！