動画生成が非常に盛り上がってきていますね。Mid Journey v6 + Magnific.ai + Runway Gen2で動画を作ってみました(10s)。出来たものはこちら。

Mid Journey v6 + Magnific.aiを試す

前もMid Journey + Runway Gen2で一本動画を作りました。

Mid Journey v6がリリースされ、Magnific.ai という画像のアップスケーラがXで盛り上がっていたので試してみることに。

全部Subscriptionして利用しています。音源生成までやると流石に面倒なので、artlist.ioの音源を利用します。 定番ですよね。

音源生成だと Suno.aiが流行ってそうですね。これもいつか試そう。

Mid Journey v6で画像生成

ちょうどこの投稿を見かけたので試してみることに。本当にそのまま使わせてもらいます。

ほぼ何もしてないのにどんどんイイカンジの構図の画像が生成されます。最終的に作りたいのは動画なので適当に見繕います。

Magnific.ai でアップスケール

Magnific.aiは元画像に対して以下の変更を加えられるAIです。

• 一部を拡大して詳細を描く

• 元画像のディティールをより細かく描く

こんな感じのUIが与えられて、画像をアップスケールすることが可能です。一旦何も変えずにpromptを与えます。

わかりやすい生成例はこちら。よく見ないとわからないですが、特におでこや口元のシワに差が出ています。

何枚か試してみたところ、magnific.aiを通したほうが肌の質感に人間っぽさが加わります。大体はほとんど差が出ません。大きな画面でよく見ると「髪の毛や壁の質感、服の材質感」に違いが出ます。とはいえ、ほぼ見分けがつかないです。

Mid Journey v6のままのほうが肌感がツルッとした仕上がりになるため「若い」イメージをいだきやすい仕上がりになる印象でした。よほどリアルさを求めない限りはMagnific.aiは不要かもしれません。

Runway Gen2で動画生成

書くことがほぼおなじになるため省略します。Gen2は大きな動きを与えるとすぐに画が破綻します。そのため髪の毛やカーテンと言った人間以外のオブジェクトを動かすような方針で作っています。

プロンプトでなびく髪や、多少の手ブレ感を許容します。

動画としてつなぐ

個々のVideoをPremiere Proでつなぎます。このへんは普段の作業と同じですね。

はい、ということでMid Journey v6 + Magnific.ai + Runway Gen2で動画を作る方法でした。個人的には周りにモデルがおらず、ちゃんとしたシネマティックカメラを持っていなくてもこんな感じで思った感じの動画が生成できるのは楽しいですね。

以上。