全員で演奏して録音するいわゆる一発録りの場合は音の加工には限界がありましたが、AIでオーディオ分割するサービス「Original Track」で楽器毎に分割するとリミックスが出来るのでスタジオ・ライブ録画したもので実践してみました。

元の動画

楽器の音圧の方が勝ってしまってボーカルが埋もれてしまっていました。
（演奏のクオリティなどは置いておいて下さい！）

リミックス後の動画

ボーカルを前に出すようにリミックス。相対的に楽器の音圧が下がっています。
（ひとまず色々できそうという可能性だけ！）

リミックス

以下で使っているツールはMacでたまたまその時すぐ使えたものです。

動画からオーディオを分割

ffmpegコマンドで分割しました。

ffmpeg -i movie.mp4 -q:a 0 -map a audio.mp3

オーディオを楽器毎に分離

Webサービス「Original Track」にアップロードして楽器毎のファイルに分離し、分離されたファイルをダウンロードします。

注意点として、もともとのオーディオの音質が悪かったり特定の楽器がほぼ聞こえない状態だと期待する分離にはなりません。また、vocals, bass, drums, otherとなるのでボーカルやコーラスはvocalsにまとまり、ツインギターやギター＆キーボードなどはotherにまとまります。

編集

DAWでトラック毎に読み込んで編集を行いました。
分割されたファイルはそれぞれステレオとなっています。

マスタリング

一応デフォルトのコンレッサーだけかけておきました。

動画編集

動画のオーディオをリミックスしたものと入れ替えます。
iMovieだと、映像とオーディオを分離して、オーディオ部分のみ入れ替えて書き出せます。