Stablediffusionを使ってフェイク動画を作る。

タムさんからリアルな写真を貰います。
GoogleColabのStableDiffusionを使いました。
Paperspaseより早いのと、最近はPaperspaseの無料のGPUが空いていないため、結構割高になってきました。

自分の好きなモデルmagicmixrealstic_v7とXXMix_9realsticを初めて使ってみました。
img2imgを使います

Prompt travelを使って、瞬きをさせないと不自然な感じになるので、顔の表情をプロンプトで指示します。

プロンプト
1girl, (anime style), dancing hip-hop, wearing a dark blue hoodie on the street
0: open eyes
5: closed eyes
8: open eyes
50: Smile
60: stop smiling
ネガティブプロンプト
(low quality:1.3), (worst quality:1.3),(deformed:1.3),(malformed hands:1.4),(poorly drawn hands:1.4),(mutated fingers:1.4),(bad anatomy:1.3),(extra limbs:1.35),(poorly drawn face:1.4),(watermark:1.3),(patreon logo)

AnimateDiffのInterp Xはいつものように3を設定します。
Denoising strengthは0.7から0.75がいいと思います。７より小さいと背景を描いてくれなくなります。0.75より大きいとダイナミックに動いてくれない感じがします。

顔を似せる方法はReActorを使うかIPAdapterを使う方法があります。今回はReActorを使いました。

最近の動画の編集ソフトのお気に入りはCapCutです。

なぜか動画のカットが旨くいきません。