動画生成AIの技術進化が速すぎる！ - Blog 2024/03/11

2024年3月11日 23:56

毎週、新しい生成AIソリューションが公開され、今まで不可能だったことが可能になったり、より効率的なワークフローが実現するなど、蓄積したノウハウもあっという間にリセットされてしまいます。

研究会のドキュメントや講演スライドは、1か月程度で内容が古くなるため、主要ページには必ず「2024年3月11日現在」などと記載しています。
書籍の寿命は数か月、Udemyなどのオンライン講座も頻繁にアップデートが必要になります。生成AI関連のアプリ・サービス解説本などは、発売されたら「すぐ買って」「すぐ読む」ことを強くお奨めします。

先週は、ArtflowやHaiperなど5つの生成AIサービスを試しましたが、映像制作を支援する機能を提供するサービスが増えてきた感じです。
Artflowには、一貫性を保ったAIキャラクターを生成するためのトレーニング機能（1キャラクターのトレーニングは8.99ドル）があり、他社も追随しそうです。
seed値やリファレンスに頼る方法はすでにレガシーで、今後はトレーニングが主流になるでしょう。

画像生成および動画生成には、人間の手や歯、アクションポーズ全般、群衆など、苦手としている表現が多々ありますが、少しずつ改善が進んでいます。

現在の動画生成の限界：

ダイナミックなアクションは不可能
あまり動かない動画になる・スローモーション表現が多い
時間経過に比例して画像が破綻する
3～4秒程度の短い動画をつなげることになる

この画像は昨年10月頃にMidjourney V5.2で生成し、Runway Gen-2で何度も「歩行」させようと試行錯誤したものです。
50回近く試して全滅だったので諦めましたが、昨日V6で生成し、Runway Gen-2で再度挑戦してみました（4か月後の再挑戦）。

wide angle, full body view, film still, She is a superheroine who will save the planet, Super cute 18 year old Russian superheroine, She has short pink hair --ar 3:4 --v 6.0

以下が、Runway Gen-2で生成したビデオです。
まだ歩行には見えませんが、数か月前はまったく表現できなかったので、かなり改善されていることがわかります。
50回生成しても全滅だったものが、10回程度でそれらしい表現が可能になっています（※画像の内容によって「動く・動かない」の勘が働くようになったことも影響している可能性あり）。

昨年の12月28日から作り始めた「Another Tokyo - GenAI Parallel universe」シリーズ、本日22本目のビデオを投稿しました。
最初の頃の作品を見ると、生成失敗している箇所が多く、恥ずかしくなってしまいますが（削除してリメイクしたいと思ってしまう…）、たった2か月半前のことなんですね。

過去、何度も紹介してきたワークフローも日々アップデートされていますので、22本目の「燦爛幽華（さんらんゆうか）」の制作手順をご紹介しておきましょう。
先月までは、Runway Gen-2一択でしたが、今月からPika 1.0も併用しています。22本目は、Pika 1.0による制作です。

再生時間：29秒
ビデオ生成：Pika 1.0
画像生成：Midjourney V6 (alpha)
音楽：Suno AI
画像処理：Photoshop ／編集：After Effects
制作日：2024/03/10

燦爛幽華

主人公のエマは偶然見つけた扉を開けてしまい、美しくも儚い花たちが一瞬の輝きを放つ花園「COLORS」に迷い込む。エマは「COLORS」の秘密を解き明かす旅に出るが、その過程で現実と幻想の境界が曖昧になっていく。彼女は自身の運命と向き合いながら、生命の尊さと美の儚さを学ぶ。

vol.22　再生時間：29秒

まず、ChatGPT (GPT-4) を活用して映像のストーリーを考えます。
条件なしで生成させると「可もなく不可もなし」の面白味のないストーリーになってしまうので、必ず意図を詳細に伝えておきます。
生成AIによる物語は、総じてユニークさに欠けているので、納得いくまで条件の内容を更新し続けます。

ハリウッドで活躍する人気脚本家として、以下の条件で、映画のストーリーを考えてください。

#条件
- 美しく咲き乱れる花たちの刹那的で儚い一生がテーマ
- 20代の若い女性に刺さる超美麗な空想ストーリー
- 主人公はこの世に存在しない花園「COLORS」に迷い込む
- 「COLORS」の謎解きとサイコスリラーの要素で観る人を引き込む
- シュールな世界観と圧倒的な美しさ
- 誰も想像できない驚きと感動的なラストシーン
- この映画のタイトルは「COLORS - The Secret Garden」
- 想像を絶する奇想天外のストーリーを考えてください。
- 400文字のストーリー概要文と2,000文字の本編ストーリーを書いてください

ストーリーの全体像が構成できたら、ChatGPTに新しい役割（ペルソナ設定：音楽家）を与えて、テーマ曲の歌詞を考えます。
このプロセスでも、納得いくまで条件の内容を更新し続けます。

ヒット映画を手掛けるベテランの音楽家として、以下の条件で、この映画のテーマ曲の歌詞を考えてください。

#条件
- 映画と同様に、美しく咲き乱れる花たちの刹那的で儚い一生がテーマ
- 女性ジャズシンガーが歌う
- ギター協奏曲をベースにした泣きたくなるような悲しいメロディー
- 歌詞には、感動的な格言やことわざのエッセンスが含まれている
- あえて難解な言葉を使って、音楽を聴く人に問いかける
- 日本語と英語を組み合わせた歌詞

音楽生成は、Suno AI (V3) を使用します。
10～20曲程度生成してから絞り込んでいきますが、必要に応じて「Adobe Audition」で修正します。生成ビデオ編集時に、After Effectsでマッシュアップ（複数曲の切り貼り）することもあります。
Suno AIには、曲の編集機能がないため、後処理が必要になります。

映像のコンセプト（美しく咲き乱れる花たちの刹那的で儚い一生）やストーリーに沿って、ビジュアルイメージを創造していきます。

このプロセスがかなり重要。

MidjourneyやFireflyなどで生成した画像をPhotoshopでリデザインします。
イメージどおりの完璧な画像が生成されることは少ないので、大半の生成画像はPhotoshopで仕上げます。
生成画像をそのまま使っていた過去の作品は、生成AI特有の網目肌や関節の不自然さがあり、今見るとかなり違和感があるのですが、現在はPhotoshopで修正しています。

最初のステップはアップスケールで、Photoshopのスーパーズーム(ニューラルフィルター)か、Topaz Photo AI (旧バージョン)を使用します。