見出し画像

Weekly Report 2024/05/01 (wed)

takio koizumi

個人的に気になったニュースや自主制作などの週報メモです。


自主制作 / 記事

Elemental Anima #0133

先日、昭和記念公園のネモフィラを観に行きました。その時に撮影した写真や3D Gaussian SplattingのデータをHAL(AI)に学習してもらい制作しました。夫を失い地獄の門前で泣いている女性を哀れみ、神ハデスがネモフィラに変えたというギリシャ神話をモチーフにしました。その様子を地獄の番犬ケルベロスがどの様に見届けたのかを表現しました。オーラで三つの頭にしてみました。

[ニュース] AI関連

[動画] Shengshu Technology - Vidu

Shengshu TechnologyからOpenAIのSoraに匹敵する動画生成AIが発表されました。最大1080p16秒の動画が生成できるとの事です。Paperやソースなどを探してみたのですが見つからなかったので正直真偽は分からないですね。追加情報を見つけましたら共有します。

[3D] Meshy - Meshy-3 公開

Meshyが1周年になり、Meshy-3が公開されました。ハイポリやPBR対応のマテリアルなど新しい機能が追加。

[3D] MaPa: Text-driven Photorealistic Material Painting for 3D Shapes

テキストから3Dモデルのマテリアルを生成するフレームワークです。かなりスマートですね。UV展開をしてくれた上で、テクスチャーやマテリアルも設定して頂けると大変助かります。Blenderに実装して欲しいです。

[動画] MotionMaster

今まで紹介した、AnimateDiff+LoRA、MotionCtrlなどよりかなり精度が高くカメラのモーションをコントロールできていますね。

[LLM] OpenAI - プラスユーザーにMemory機能を解放

遂に解放されましたね。いつも指定したものが自動的に記憶されて反映されるのはありがたいですね。

[画像] ByteDance - Hyper-SD

TiktokのByteDanceも画像生成モデルを公開しました。1Stepでかなりの精度がでてますね。LCMなどよりも生成速度が早いです。

[画像] ByteDance - HiDiffusion

高解像度かつ早く生成可能なフレームワークです。今週はByteDanceの発表が多いですね。

[3D] ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering

アニメーション人物のGaussian Splattingをリアルタイムでレンダリングするフレームワークです。モブが沢山出るシーンなどで活用できそうですね。

[動画] Open Sora - v1.1 リリース

Soraに対抗したOpenSoraのV1.1がリリースしました。精度と自由度が上がりました。720p、15秒、アスペクト比も任意で変えられるようになりました。

[3D] TokenHMR: Advancing Human Mesh Recovery with
a Tokenized Pose Representation

画像や映像から3Dポーズを再現し、メッシュを生成するフレームワークです。

[動画] Steerable Motion 1.4

ComfyUIのカスタムノードとワークフローが出ていて、環境が整っていたらすぐ出来るので興味がありましたら是非。

[画像] ConsistentID

LoRAを使用せずにかなりの精度で人の顔が再現出来ていますね。IP-AdapterFaceをよく使用しているので、同じような使い勝手でComfyUIには言って頂けるとありがたいです。

[画像] ComfyUI - Zero-Shot Material Transfer from a Single Image

以前紹介したMaterial TransferをComfyUIで再現された方が居ましたので共有いたします。

[3D] PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation

これは触ってみたいですね。フィギュアで出来たら楽しそうです。

[3D] Interactive3D: Create What You Want by Interactive 3D Generation

こちらもGaussian splatsの一部をコントロールしたりコンバインしたり色々な調整が出来るようなフレームワークです。

[声] OpenVoice v2 リリース

声系の需要も増えてきましたので、どこかで検証してみたいですね。商用利用も出来てオープンソースなのでこちらを触ってみようと思います。

[ロボット] Boston Dynamics - Meet Sparkles

このカスタムコスチュームは可愛いですね！ロゴに合わせた配色でいいですね～。色んなカスタムを見て観たいです！

[記事] 経済情報特化の生成AI、日経が開発 40年分の記事学習

興味深い試みですね。モデルの公開は難しいと思いますが、実際に行った検証結果や活用方法も知りたいです。

[記事] 写真共有サイト「EyeEm」が「投稿された写真はAIトレーニングに利用する」と表明

かなり強硬手段に入ってますね。これは反発も多そうですが、ストックフォト系や写真共有サービスはこの様な動きになっていきそうですね。

[AI活用] ScottieFox - PromptZone

子供向けのインタラクティブなコンテンツとして楽しそうです！大きなタッチパネルでやってみたいです。

[PV] 電気グルーヴ - 電気グルーヴ34周年の歌

最高です。TM NETWORKなど日本のアーティストがAIを活用する事例も増えてきてありがたいです。テクノ系は相性良すぎるのでもっとやって欲しいです。

[画像] AI Picasso - 商用利用ができる高品質AIアート用画像生成AI、Emi 2を無償公開

実際生成すると怪しいところも多いですが試み自体は良いですね。ミツアも楽しみにしています。

[記事] 謎の生成AI「gpt2」登場で騒然　次世代のGPT？　アルトマンCEOも言及

色々謎ですが、こういう噂はワクワクしますね。来週ぐらいにはこのモデルの正体がわかるのでしょうか？

[ニュース] CG・リアルタイムエンジン関連

[Epic] RealityCapture 1.4 公開

この記事が気に入ったらサポートをしてみませんか？