Qosmoで開発されているAIを用いた音色変換プラグイン、Neutoneを実際に使用しているミュージシャンの声を届ける企画の第三弾。
2023年9月、Scott YoungがQosmoオフィスに訪れて開発チームに対するフィードバックを提供してくれた。
Abletonによるインタビュー記事でも触れられた、彼がNeutoneを使用して作ったアルバムA Model Withinについて及び、今後の音楽業界の展望に関する彼からのコメントを以下に掲載する。

“A Model Within” でNeutoneを使用した経緯

昨年、あるプロジェクトに取り組んでいたとき、友人のイームズが機械学習を使ってみようと提案しました。そこで私はまず、IRCAMのRAVEアルゴリズムをチェックし始めました。Google Colabを使ってゼロからモデルをトレーニングしようとしたのですが、サンプルサイズが小さく、A100を搭載した仮想マシンで数日間トレーニングしただけだったので、思うような結果は得られませんでした。

IRCAMのフォーラムで調べているうちに、RAVEアルゴリズムを利用するだけでなく、DDSPテクニックも取り入れたQosmoのNeutoneを発見しました。プリセット・モデルはとても印象的で、私はそれを使って曲を作り始めました。DDSPXSynthモデルは4つのパラメーターを操作できます： IR Convolution Reverb, Pitch Control, Noise, Formant Controlです。私のプロジェクト『A Model Within』では、これらのパラメーターを操作して、私が作ったPhaseplantパッチ、娘のボイスメモ、ハイドパークのダイアナ記念噴水の音など、様々なオーディオソースを加工しました。

その結果は、まるで本物の人が演奏したアルバムのようで、感動を覚えるものでした。この生成的アプローチを使うとき、人間のクリエイターとして重要なのは、どこでピースを切り抜き、つなげることによって、私たちの心に響く意味のあるものが生まれるかを考えることだと思います。

他に使用したプラグイン

ミキシングの段階で、プラグインの出力はドライでフラットな印象になることが多いです。これに対処するために、まずSoundtoysのDevil-Loc Deluxeを使って、フラットでデジタルな出力に少しクランチを加えました。
出力は通常モノラルですが、KiloheartsのHaaSプラグインを使ってステレオのようにしました。それからAlign Delayを使って位相を思い通りに調整しました。
次に、ミックスをマスタリングに送る前に緩やかなコンプレッションをかけました。ダイナミックレンジを引き締めて、バランスの良いミックスにするためにリンデルのSBCを頼りにしています。
最後に、Klein & Hummel UE-100のチューブ駆動EQを模倣したLindell TE-100を使ってEQを加えました。これらの素晴らしいプラグインはどちらもPlugin Allianceの製品です。

編集法におけるインスピレーション

私のアプローチでは、ジャズ・レコードの伝統的な編集方法からインスピレーションを得ています。昔は、複数のテイクをシームレスなシークエンスに統合するために、テープを物理的にカットしたり継ぎ足したりしていました。特に魅力的だと感じる部分を選択することで、それらをひとつのまとまったライブ演奏のように組み立てることができたのです。
私は、娘のボイスメモを2つ、サックス演奏に組み込み、順番に並べました。驚くことに、その結果は一貫したフリー・ジャズの解釈として今でも共鳴しています。

マスタリングにおける目標

Neutoneプラグインのプリビルド・モデルを利用することから始めて、クラシックなコンプレッサーとイコライザーで強化しました。次のマスタリングの段階では、サウンドのトーンとシェイプを微調整しました。このプロセスによって、デジタル・アーティファクトと処理された楽器をブレンドすることができ、最終的にユニークで洗練された仕上がりになりました。
このレコードのマスタリングにおける私の目標は、快適なレベルまでシステム・アーティファクトを強化しながら、モデルのユニークな特徴を保つことでした。

すなわち、モデル名から連想される音色を復元し、デジタル・アーティファクトと戯れる旅に出たのです。ロク（EVOL）もこのプロセスに参加してくれました。例えば、最後のトラック「Kora」では、楽器の音をより鋭くする実験を行い、その結果、アーティファクトがより前面に出るようになりました。

機械学習の発展が急速に進む現代について

機械学習はここ2、3ヶ月で本格的に普及し、GPT-4はかなりのインパクトを与えています。GPT-4は、単純なプロンプトで時間のかかるタスクを処理するのにとても便利です。例えば、GPT-4に、ffmpegを実行して動画の最初の5秒を切り取るように頼む、といったことができます。
そして近いうちに、オーディオでも同じことができるようになるかもしれないです。クリップのトランスポーズ、サンプルの検出、あるいは特定の音色の除去も、近い将来すべて可能になるかもしれません。必要なのはプロンプトだけなので、高級なソフトウェアや強力なマシンの必要がないことが一番のメリットです。

音楽制作の未来

未来の音楽作りは、ますます遠隔になり、リアルタイムのコラボレーションに依存しなくなるかもしません。
これまで私たちの音楽演奏は、豊富な練習によって培われた筋肉の記憶や、トレーニングの限界に挑戦することによって形作られてきました。しかし、こうして生み出されたパターンはすでにどこかに存在している可能性が高いです。
このAIを使った革新的なアプローチでは、ミュージシャンは好きなだけテイクを録音することができ、これらのテイクはモデルのトレーニングに使用することができます。そしてプロデューサーは、好みのモデルを選んでシーケンサーで再生し、その結果をテイクに基づいて編集することができます。これらのテイクをクリエイティブにつなぎ合わせることによって、新鮮でユニークなものになるのです。
アウトプットは常に進化しているので、音楽制作における偶然性の要素はさらに顕著になるでしょう。

Qosmoへのメッセージ

Qosmoのサポートなしには、このアルバムを作ることはできませんでした。彼らのオープン・ソース・プロジェクト、Neutoneは、音色変換による音楽制作の可能性を一般に開放しました。彼らはGoogle Colabノートブックを提供していて、ユーザーが自分のモデルをトレーニングするのに役立ちます。彼らのDiscordコミュニティは活発で、何か問題が発生したときにもサポートしてくれます。この活気あるコミュニティによる絶え間ないアップデートと貢献が、この分野におけるエキサイティングな発展を可能にしています。

謝辞

SUPERPANGのクリスチャン・ディ・ヴィートと妻のアニーに心から感謝しています。この種の音楽がどれほど革新的であろうと、本当に重要なのは、私たちの感情が『本当にいい音だ』と反応することなのです！

文: Scott Young, 森達哉