見出し画像

動画編集の超技術!?文字で映像が変化するってマジ?

3Dシーンを編集するときに、そこに出てくる登場人物や風景に対して、こういうキャラクターが登場したら面白いのになぁとか、こんな景色の中だったらいいのになぁとか、その映像そのものを編集してみたいときってありますよね?


それこそ、猫が登場していたのを、犬に変えてみたりとか。そもそも、三毛猫だったのが、真っ白になったらどうだろうか…とか。

考えてみたら結構面白いですよね。

でもそんな技術なんて今のご時世ないよね…と思うなかれ。

そんな技術が登場しそうです。しかもテキスト(文字)による命令で編集が可能…という技術。
今回はこの技術、Instruct-NeRF2NeRFについて簡単にご紹介しますね。

Instruct-NeRF2NeRFというテクノロジー

まず始めにこちらのリンクをご覧ください。https://instruct-nerf2nerf.github.io/?s=06

冒頭でも少し触れた通りなのですが、今回のテクノロジー名はInstruct-NeRF2NeRFというそうで、端的に言えば3Dシーンをテキスト(文字)で編集することができる技術ということです。

例えば、登場している風景が、最初は朝だったのをテキストで指示を出すことで昼に変えたり、星空に変えたりとすることができる技術というわけですね。

具体的には、NeRFという3Dシーンの再構成技術と、InstructPix2Piexという画像編集技術を合体させて、そのうえでテキストで指示を出すと特定の変更を加えることができるそうですね。

なんだかこれを聞くだけでも難しそうな、そして凄そうな技術ってことが感じられますね。

実際にリンク先を見ていただくと非常に興味深い映像がいくつか流れているかと思います。

ページを開けばコロコロとキャラクターの風貌が変わっていくのがとっても面白いですよね!

特徴をまとめると

今回のテクノロジーについて、リンク先の記事の中に特徴が書いてありましたので、それを引用いたしますね。

訓練用の視点からシーンから画像がレンダリングされます。

https://instruct-nerf2nerf.github.io/?s=06

グローバルなテキスト指示に従って、InstructPix2Pixによって画像が編集されます。

https://instruct-nerf2nerf.github.io/?s=06

訓練用データセットの画像は、編集された画像と入れ替えられます。

https://instruct-nerf2nerf.github.io/?s=06

NeRFは通常通り訓練を続けます。

https://instruct-nerf2nerf.github.io/?s=06

おわりに

映像編集技術がついにここまで来たか…と衝撃を受けちゃいましたね。
とんでもない技術です。

あらゆる要素を編集可能っぽいように見えますので、例えばアングル自体は固定で、それ以外を丸ごと編集しちゃう…とかもリンク先の記事でありました。

それをみて、アングルしか一致していないやん!と、一人つっこみを入れてしまっていましたねぇ…

この技術を使えば、例えば登場人物を岸田総理→ダースベーダーに変化させることもできるってことですね!

あ、もちろん深い意味はありませんからね!

今はまだ開発段階のようですけれども、映像編集技術の世界において、革新的なテクノロジーになりそうですね!
今から楽しみです^^

この記事が気に入ったらサポートをしてみませんか?