見出し画像

Tiktokを手掛けるByteDanceが音楽生成AI「StemGen」他 / Catch up on AI 2023.12.16

Yoshihiro Tanaka | taziku

Pick up

Tiktokを手掛けるByteDanceがが音楽生成AI、StemGenのプロジェクトページを公開。多くのサンプルと原理が掲載されています。

大枠の仕組みとしては

1.入力された音楽クリップを分析
2.音楽を理解
3.モデルデータと合わせて音楽生成

music-to-musicとも言える生成AIが出現。まだデモやコードの公開はされていませんが、これがリリースされると大きく音楽生成AIも情勢が変わってきそうです。

音楽生成AI StemGen
Project：https://julian-parker.github.io/stemgen/
arXiv：https://arxiv.org/abs/2312.08723

Catch up on AI

Midjourney v6にアップデートか？

生成AIのキャプションが進化「Pixel Aligned Language Models」

感情が込もった音声をAIで生成「EasyBertVits2」

生成AIの文字の問題を克服「UDiffText」

NeRFも超高速へ、ZeroRFで従来の1/10程度の時間で生成

AnimateDiffをさらに強化!SparseCtrl

AnimateDiffさらに一貫性が進化、v3_sd15_mm+Adapter LoRA

生成AIの特定の要素だけをコントロールできるConcept Slidersのテスト

AIのNewsやアートワーク情報を更新中⚡

X（Twitter）ではAIの最新情報を発信中🐦


この記事が気に入ったらサポートをしてみませんか？