明けましておめでとうございます。今年も引き続きAI情報をマイペースにまとめていきますのでよろしくお願いいたします。

年男(辰年)なので気合いを入れました。一昨年、富士山に登頂した際に撮影した雲海やご来光の写真を、HAL(AI)に学習してもらい制作しています。人間とAIにとって重要な年になると感じているので、"2001年宇宙の旅"をオマージュして、青龍との"HAL9000"が見守っているようにしました。他にも沢山モチーフを入れておりますが長くなるのでこの辺で。

能登半島地震により被害に遭われた方々に心よりお見舞い申し上げます。
今作"Elemental Anima #0116"と、復興の祈りを込め現在制作中の作品の売上分を、令和6年能登半島地震 緊急支援募金（Yahoo!基金）に寄付させていただきました。

MotionCtrlが出来るとかなり可能性が広がりますね。AnimateDiffやSVDなどにも導入できるとの事なので、ControlNetレベルで汎用性の高いものになりそうです。すでにComfyUIでの実装されている方も居ましたのでタイミングを見て検証したいと思います。

音楽のマルチモーダルモデルが出ました。音楽を高精度にキャプショニングできつつ、テキスト、画像、動画から音楽の生成・編集が出来ています。HuggingFaceで連絡先を入れればデータセットにアクセスできるので、興味がある方は是非。

テキストで対話しながらモーションを制作していくワークフローが面白いですね。デモも分かり易く、声でのインプットも対応しているので未来のCGワークフローを体感できますね。とりあえず、FBXを出力させてください。そして、MotionCtrlやM2UGen、MotionGPTといいテンセントもアウトプットし始めましたね。

時間を含めたGaussian SplattingのシーンをRTX4090環境で8K60FPSでリアルタイム描画。CyberPunk2077のBDのようですね。2024年はGaussian SplattingとNeRFが重要な年な気がしています。

次はSadTalkerをアップデートしてリプレイスしようとしている感じですかね。Automatic1111などでよく活用されている技術を上位からAlibabaが手を出しているようなｗ 的確な動き過ぎます。

テキストと漢字、カタカナ、日本語も解決しようとしています。カスタムフォントもAIで生成出来るようになりそうですね。

物理ベースのキャラクターをテキストで動かすのかなり楽しそうですね。コントローラーを使わず声やテキストでキャラクターを動かせたら、今までと違う体験が出来そうです。可能性を感じますね。物理ベースな挙動は可愛いし、面白い。

モーション系が増えている中で、デモとコードが公開され、頭身もバリエーションが多いのはありがたいですね。これは実際に触ってみたいと思います。

StreamDiffusion×VJはかなり相性がいいと思っていたので、このアプローチは素晴らしいですね。

Leonardo.AIもリアルタイム生成機能を導入しましたね。リアルタイムでLoRAやスタイルを調整できるのはかなり便利そうです。

今までもControlNetを駆使して手や指は直すことは出来ましたが、これは近いうちにExtentionに入りデフォルト機能のようになりそうですね。

このVideo Diffusion Modelは、既存の技術と互換性が高すぎるのでこちらも実際に触ってみようと思います。

動画系でAPIも用意しているサービスは珍しいですね。

KDDI、auががっつり生成AIを活用してきましたね。もう勢いで行ってしまおう感がすごいです。他のキャリアもついていくのか気になります。批判なども含めて動向を追っていこうと思います。

3年前に生成AIに触れてから問い続けてきました。自分の哲学と趣味嗜好、思想とマッチしたクリエイティブが出来つつあるので今年はさらに拡張して行ければと思います。

安藤忠雄設計「光の教会」好きなので感動しました。この空間を自分で動きたいです。