タイムラプスから学習された動画生成AI「MagicTime」 他 / Catch up on AI 2024.4.9
Pick up
現在の動画生成AIが連続性と、現実世界の物理法則が欠如している問題をタイムラプスの動画を学習させることで改善した動画生成モデル「MagicTime」。
ちゃんと花が割く、建物が組み上がるなどを実現しています。
MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators
Project：https://pku-yuangroup.github.io/MagicTime/
arXiv：https://arxiv.org/abs/2404.05014
Code：https://github.com/PKU-YuanGroup/MagicTime/tree/main
【タイムラプスから学習】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
MagicTimeは現在の動画生成AIが現実世界の物理的知識が乏しい問題を解決したフレームワーク。タイムラプスの動画で学習しており、より現実に即したモーションを実現。
主に成長させる、段々できあがるみたいな動画が上手い。
続く>>#生成AI #AIpic.twitter.com/PyMUC1YSph
Catch up on AI
生成AIでスケッチ→2D→動画→3D
【スケッチ→2D→動画→3D】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
生成AIのワークフローを10秒に詰め込んだショート動画。今ではどれも当たり前の技術ですが改めて進化を実感できる動画。
生成AIどこまで進んでいくのか、今後も注目です！#生成AI #AIpic.twitter.com/dsYUICX3xb
表面を完璧にトラッキング SpatialTracker
【表面を完璧にトラッキング】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
SpatialTrackerは、動画上の任意の面をトラッキングできるフレームワーク。単眼深度推定器を使用して2Dピクセルを3Dにも変換。
先行研究と比べてもかなりの精度が出ています。
続く>>#AI pic.twitter.com/cBh9WYIUKj
素早い動作でも影やシワなどを再現「SurMo」
【素早い動作でも影やシワなどを再現】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
SurMoは動画から人間の動きを再現するフレームワーク。
一コマずつレンダリングするのではなく、ある瞬間の動きから、次の瞬間にどう動くかを予測することで、再現精度を高める工夫がなされている。
続く>>#AIpic.twitter.com/p6cuBSRdw3
現実と見分けがつかないAIアバター
【現実と見分けがつかないAIアバター】@Digen_AIが発表しているDigen in Real Motion 1.0によるAIアバター。
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
最大20の言語で発話が可能。HeyGenの精度も驚いたが、Digen AIの精度もかなり高い。#AI #AIアバターpic.twitter.com/zEM7zCaS9S
サツマイモの皮もむけるロボ NAVER LABS
【サツマイモの皮もむけるロボ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
NAVER LABSがリリースしたAMBIDEXは、人間の腕を模倣して設計された非常に自由度の高いロボット。
未来の洗練された雰囲気と無骨なロボット感のデザインのバランスがとても良い。
続く>>pic.twitter.com/ouGdtc3BEN
ドローンの視界を奪う DJI Avata Explorer Combo
【ドローンの視界を奪う】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
DJI Avata Explorer Comboは頭部のヘッドマウントディスプレイの動きととドローンを連動させることができる技術。
機械の視覚と連結させて操作とかヒューマノイドとの相性も良く、夢が広がる技術。pic.twitter.com/5mkh3ImR1P
動画から動的なCGを生成 SC4D
【動画から動的なCGを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
SC4Dは動画から、動的な3Dオブジェクトを生成するフレームワーク。
video-to-4Dと呼ばれ、デモでは様々なキャラクターや花が開くシーンなどが4DCG化されています。
続く>>#生成AI #AIpic.twitter.com/svPThBBGtd
凄まじいスタイル転送の精度
【凄まじいスタイル転送の精度】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) April 9, 2024
動画にリファレンスイメージを参照して動画を生成できるViggle AIのデモ。
人間→人間だとここまでの精度がでるのか...すごい精度。
CREATOR：@AIWarper#生成AI #AIpic.twitter.com/5UHIwVnHIR
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？