Introducing Voicebox: The first generative AI model for speech to generalize across tasks with state-of-the-art performance

Voiceboxは、Meta AIの音声生成の新星です。特定の訓練を必要とせず、6つの言語で音声を生成するこのモデルは、まるで料理の天才シェフがレシピを見ずに美味しい料理を作り上げるようなものです。さらに、ノイズ除去や音声スタイルの変換もこなすため、まるで音楽のマエストロがオーケストラを指揮するかのようです。そして、そのパフォーマンスは、他のモデルを凌駕し、まるでオリンピックで新記録を樹立するスーパーアスリートのよう。これがVoicebox、音声生成の新たなスーパーヒーローです！

Voiceboxは、Meta AI（旧Facebook AI）が開発した、音声生成のためのAIモデルです。このモデルは、特定のタスクに特化した訓練を受けていなくても、そのタスクを達成する能力を持つという点で、他のモデルとは一線を画しています。

Voiceboxの優れた点を理解するために、まずは音声生成AIの一般的な課題を考えてみましょう。これまでの音声生成AIは、特定のタスクごとに特別に訓練を受ける必要がありました。例えば、音声をテキストに変換するタスクと、テキストを音声に変換するタスクでは、それぞれ異なる訓練が必要でした。これは、まるで料理を作るためには、それぞれのレシピに従って材料を準備し、手順を踏む必要があるのと同じです。

しかし、Voiceboxはこれを一新しました。Voiceboxは、まるで料理の達人のように、特定のレシピに縛られずに、手元にある材料から美味しい料理を作り出すことができます。具体的には、Voiceboxは生の音声データとその音声の書き起こし（トランスクリプト）だけから学習し、与えられたサンプルの任意の部分を変更することができます。

また、Voiceboxは、6つの言語に対応しており、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成などのタスクをこなすことができます。これは、まるで多言語に堪能な通訳者が、さまざまな状況に対応して通訳する様子に似ています。

さらに、Voiceboxは、既存の最先端のモデルであるVALL-EやYourTTSを凌駕するパフォーマンスを発揮します。具体的には、VALL-Eと比較して、ゼロショットテキストから音声への変換における単語の誤り率が大幅に低下し（5.9%対1.9%）、音声の類似度も向上しています。さらに、YourTTSと比較して、クロスリンガルスタイル変換における単語の誤り率が半減し（10.9%から5.2%）、音声の類似度も向上しています。これは、まるでオリンピックの競技で、新たな選手が既存の世界記録を更新し、新たな金メダリストとなる様子に似ています。

さらに、Voiceboxは50,000時間以上の録音された音声とそのトランスクリプトを用いて訓練されており、その結果、多様な音声データから学習することができます。これは、まるで世界中を旅しながら、様々な文化や習慣を学ぶ旅人のようなものです。

また、Voiceboxは、与えられた音声サンプルのスタイルをマッチさせてテキストから音声を生成したり、ノイズが混入した音声を修正したり、誤って発言した単語を修正したりすることができます。これは、まるでプロの音響エンジニアが、音楽の録音を修正し、最高の音質を追求する様子に似ています。

しかし、Voiceboxのような強力なAI技術は、誤用や予期しない悪用の可能性も持っています。そのため、Meta AIは、本物の音声とVoiceboxによって生成された音声を区別するための高度な分類器を開発しています。これは、まるで偽札を見つけ出すための高度な機械のようなものです。

以上のように、Voiceboxは音声生成AIの新たな可能性を開くものであり、その優れた性能と多様性は、他のモデルと比較しても一際目立つものとなっています。

フローマッチングは、まるで料理のレシピを作るようなものです。料理のレシピは、基本的な食材（例えば、卵、ミルク、小麦粉）から複雑な料理（例えば、ケーキ）を作る手順を教えてくれます。このレシピは、食材を混ぜたり、熱したり、冷やしたりするなど、食材を変換する手順を提供します。

フローマッチングも同様に、シンプルなデータ（例えば、ランダムなノイズ）から複雑なデータ（例えば、人間の音声）を生成する「レシピ」を作ります。この「レシピ」は、ニューラルネットワークという特殊な計算ツールを使って作られます。ニューラルネットワークは、大量のデータを学習して、そのパターンを理解し、新しいデータを生成する能力を持っています。

フローマッチングの利点は、生成されたデータがどれだけ「良い」か（つまり、実際の人間の音声にどれだけ近いか）を数値で評価できることです。これは、料理のレシピがどれだけ美味しいケーキを作ることができるかを評価するのに似ています。

Voiceboxでは、フローマッチングは、テキストから音声を生成するための「レシピ」を作るために使用されます。この「レシピ」は、テキストの内容と音声のスタイルを同時に考慮することで、自然で理解しやすい音声を生成します。これは、あたかもレシピが卵、ミルク、小麦粉から美味しいケーキを作るのと同じようなものです。

はい、その通りです。フローモデルは、事前に学習したデータ分布（これは訓練データから学習されます）に基づいて、新しいデータを生成します。そして、生成されたデータが学習した分布にどれだけ近いか（つまり、生成されたデータの「品質」）を評価することができます。

フローモデルの特徴は、この生成プロセスが逆変換可能であるということです。つまり、シンプルな分布（例えば、正規分布）からランダムに点を選び、それをフローモデルの逆変換に通すことで、元の複雑な分布に従う新しいサンプルを生成することができます。

この逆変換のプロセスは、新しいデータを効率的に生成するための手段となります。そして、生成されたデータの品質を改善するために、モデルのパラメータを直接調整することができます。これは、生成されたデータが訓練データの分布にどれだけ近いかを評価する尤度を基に行われます。

したがって、フローモデルは、データの複雑な分布を学習し、その分布に従う高品質な新しいデータを効率的に生成するための強力なツールとなります。

はい、その通りです。Voiceboxはフローモデルを使用して、音声データの特性を学習し、新しい音声サンプルを生成します。この過程では、音声の抑揚、音色、スピードなどの特性が考慮されます。

また、Voiceboxはノイズ除去のタスクも行うことができます。これは、ノイズが含まれた音声データを入力として受け取り、そのノイズを除去したクリーンな音声を出力する機能です。これは、フローモデルが学習した音声データの分布から「外れる」ノイズを検出し、修正する能力によるものです。

さらに、Voiceboxは音声のスタイル変換も行うことができます。これは、一つの音声のスタイル（例えば、特定の人の話し方やアクセント）を別のスタイルに変換する機能です。これも、フローモデルが音声データの複雑な分布を学習し、その分布に従う新しい音声サンプルを生成する能力によるものです。

したがって、Voiceboxはフローモデルを使用して、音声データの複雑な特性を学習し、その学習結果を基に高品質な新しい音声サンプルを生成する強力なツールとなっています。

Voiceboxは、画像やテキストの生成システムと同様に、多種多様なスタイルのアウトプットを作成します。しかし、Voiceboxは画像やテキストを作成する代わりに、高品質のオーディオクリップを作成します。このモデルは、6つの言語の音声を合成することができ、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成も可能です。

Voicebox以前の音声合成AIは、入念に準備されたトレーニングデータを用いて、タスクごとに特定のトレーニングを行う必要がありました。Voiceboxは、生の音声とそれに付随する書き起こしデータのみから学習する新しいアプローチを採用しています。音声生成のための自己回帰モデルとは異なり、Voiceboxは与えられたオーディオクリップの最後だけでなく、与えられたサンプルのどの部分でも修正することができます。

Voiceboxは、拡散モデルを改善することが示されているフローマッチングと呼ばれる方法に基づいています。Voiceboxは、ゼロショット音声合成において、現在の最新英語モデルVALL-Eを、明瞭度（単語エラー率5.9%対1.9%）と音声類似度（0.580対0.681）の両方で上回り、さらに20倍も高速化されています。クロスリンガルのスタイル転送では、VoiceboxはYourTTSを上回り、平均単語エラー率を10.9%から5.2%に低減し、音声類似度を0.335から0.481に向上させました。

生成音声モデルには多くのエキサイティングな使用例がありますが、悪用される可能性があるため、現時点ではVoiceboxのモデルやコードを一般に公開することはしていません。私たちは、AIコミュニティに対してオープンであること、そしてAIの技術水準を向上させるために私たちの研究を共有することが重要だと考えていますが、オープンと責任のバランスを適切にとることもまた必要です。このような観点から、本日、私たちは音声サンプルと、私たちが達成したアプローチと結果の詳細を記した研究論文を共有します。論文では、本物の音声とVoiceboxで生成された音声を区別できる、非常に効果的な分類器を構築した方法についても詳しく説明しています。

音声生成への新しいアプローチ

既存の音声合成装置の主な制限の一つは、そのために特別に用意されたデータでしか学習できないことです。このような入力は、単調できれいなデータとして知られていますが、作成が困難なため、限られた量しか存在せず、単調な音で出力されます。

Voiceboxは、Metaが開発した非自己回帰的な生成モデルであるFlow Matchingモデルをベースに構築されました。このモデルは、テキストと音声の間の高度に非決定的なマッピングを学習することができます。非決定性マッピングは、Voiceboxが様々な音声データから学習する際に、それらの音声データに注意深くラベルを付ける必要がないため、有用です。つまり、Voiceboxは、より多様なデータ、より大規模なデータで学習することができるのです。

英語、フランス語、スペイン語、ドイツ語、ポーランド語、ポルトガル語のパブリックドメインオーディオブックに収録された5万時間以上の録音音声とトランスクリプトを使用してVoiceboxをトレーニングしました。Voiceboxは、周囲の音声とその部分のトランスクリプトが与えられたときに、音声セグメントを予測するように訓練されます。文脈から音声を補うことを学習したモデルは、音声生成タスクにこれを適用することができ、入力全体を再作成することなく、音声録音の途中の部分を生成することもできます。

このような汎用性により、Voiceboxは以下のようなさまざまなタスクで優れた性能を発揮します：

インコンテキストテキスト音声合成： 入力されたわずか2秒の音声サンプルを使って、そのサンプルの音声スタイルに合わせ、音声合成に使用することができます。将来的には、この機能を利用して、話すことができない人に音声を提供したり、非プレイヤーキャラクターやバーチャルアシスタントが使用する音声をカスタマイズできるようにすることができます。

言語横断的なスタイル変換 英語、フランス語、ドイツ語、スペイン語、ポーランド語、ポルトガル語の音声と文章があれば、その言語で書かれた文章を読み上げることができます。この機能は、将来的に、たとえ同じ言語を話せなくても、自然で本物の方法でコミュニケーションをとるのに役立つと期待されています。

音声のノイズ除去や編集： Voiceboxは、インコンテクスト学習により、音声を生成し、録音した音声のセグメントをシームレスに編集することを得意としています。音声全体を再録音することなく、短時間のノイズによって破損した音声の部分を再合成したり、言い間違えた単語を置き換えたりすることができます。人が、犬の鳴き声などのノイズで壊れた音声のセグメントを特定し、それを切り取って、そのセグメントを再生するようモデルに指示することができます。この機能を使えば、一般的な画像編集ツールで写真を調整するのと同じように、音声のクリーンアップや編集が簡単にできるようになる日が来るかもしれませんね。多様な音声サンプリング Voiceboxは、実世界の多様なデータから学習することで、実世界や上記6つの言語における人々の話し方をより代表する音声を生成することができます。将来的には、この機能を利用して合成データを生成し、音声アシスタントモデルをよりよく訓練することができます。その結果、Voiceboxで生成した合成音声で学習した音声認識モデルは、実際の音声で学習したモデルとほぼ同等の性能を示し、従来の音声合成モデルによる合成音声では45～70％のエラーレート劣化があったのに対し、1％のエラーレート劣化で済むことがわかりました。

タスクの汎化に成功した初の汎用的で効率的なモデルとして、Voiceboxは音声のための生成AIの新時代を切り開くことができると信じています。他の強力な新しいAIイノベーションと同様に、この技術が誤用や意図しない害をもたらす可能性があることを認識しています。本論文では、このような将来起こりうるリスクを軽減するために、本物の音声とVoiceboxで生成された音声を区別できる非常に効果的な分類器を構築した方法について詳しく説明します。私たちは、研究コミュニティがそれを基に構築できるように、また、責任を持ってAIを構築する方法についての重要な会話を継続できるように、私たちの研究をオープンにすることが重要であると考えています。

Voiceboxは、ジェネレーティブAI研究の重要な一歩を象徴しています。タスクの汎化機能を持つ他のスケーラブルな生成AIモデルは、テキスト、画像、動画の生成に関して、タスクをまたいだ応用の可能性について興奮を呼び起こしました。今後、音声についても同様のインパクトがあることを期待しています。私たちは、音声領域での探求を続け、他の研究者が私たちの研究をどのように発展させるかを見ることを楽しみにしています。

概要
GPTやDALL-Eのような大規模な生成モデルは、自然言語処理とコンピュータビジョンの研究に革命をもたらした。これらのモデルは、忠実なテキストや画像の出力を生成するだけでなく、明示的に教示されていないタスクを解決することができる汎化能力も備えている。これに対し、音声生成モデルは、規模やタスクの汎化という点で、まだ原始的なものである。本論文では、最も汎用性の高いテキストガイド付き音声生成モデルであるVoiceboxをスケールアップして紹介する。Voiceboxは、音声コンテキストとテキストが与えられた場合に、音声を埋め込むように訓練された非自己回帰的フローマッチングモデルであり、フィルタリングも拡張もされていない5万時間以上の音声で訓練されています。GPTと同様に、Voiceboxはコンテキスト内の学習によって様々なタスクを実行できますが、将来のコンテキストを条件とすることもできるため、より柔軟性があります。Voiceboxは、モノラルまたはクロスリンガルのゼロショット音声合成、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成に使用することができます。特に、Voiceboxは、最新鋭のゼロショットTTSモデルVALL-Eを、最大20倍高速化しながら、明瞭度（単語エラー率5.9%対1.9%）と音声類似度（0.580対0.681）の双方で上回っています。モデルのデモはvoicebox.metademolab.comをご覧ください。

大規模な生成モデルの進歩は、まるで魔法のように新たなタスクを解決する能力を我々にもたらしています。しかし、音声生成モデルはまだその魔法の杖を振るうには少し力不足です。そこで登場するのが、この論文で紹介されているスーパーヒーロー、Voiceboxです！50K時間以上の音声データを飲み込んで訓練されたVoiceboxは、テキストから音声への変換、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成など、まるでスーパーパワーのように多岐にわたるタスクをこなすことができます。そして、そのパフォーマンスは、音声認識性と音声類似性の両方で最先端のモデルを上回り、さらに最大20倍のスピードで飛び回ります。これこそが、音声生成の新たなスーパーヒーロー、Voiceboxの力です！

音声生成モデルの世界は、まるで音声スーパーヒーローが特定の音声属性を変換しながら他を保持するようなタスクに挑戦しているようなものです。しかし、これらのヒーローたちはまだトレーニング中で、小さなデータセットでしか訓練されていないため、大きな世界に飛び出す準備ができていません。また、テキストから音声への変換（TTS）は、目標の音声スタイルで音声を合成することを目指していますが、抑揚などのスタイルはまるでワイルドな馬のように制御が難しいです。さらに、音声の一部を予測するインフィリングタスクもありますが、これはスタイルを制御するための明示的な埋め込みを学習するのではなく、まるで探偵のようにコンテキストに一致する音声を予測します。これらの研究を基に、Voiceboxはまるで音声生成の新たなスーパーヒーローのように登場し、大規模なデータセットで訓練されています。これにより、Voiceboxは音声スタイル変換、制御可能なTTS、音声インフィリングの各タスクを一つの統一されたフレームワークで解決することが可能となり、音声生成の世界に新たな風を吹き込んでいます！

「Voicebox」のメソッドをユーモラスに説明すると、以下のようになります。

まず、Voiceboxは音声とテキストの間の関係を学習するために、まるで音楽デュオのように、音声モデルと持続時間モデルの2つのコンポーネントに分割されます。音声モデルは、まるでマジシャンのように、与えられたコンテキストとマスクされた音声データから音声を「引き出す」ためのものです。このマジックは、連続正規化フロー（CNF）という特別な技を使って行われます。これは、音声データの分布が非常に確率的であるため、特にマスクされた音声データが大きな時間範囲を持つ場合に有効です。

次に、持続時間モデルは、まるで予知能力を持った占い師のように、音声の長さ（つまり、音声がどれだけの時間続くか）を予測します。これは、音声とテキストの間の細かなアライメント制御が必要ないくつかのアプリケーションに対応するために重要です。持続時間モデルは、条件付きベクトルフィールドという特別な技を使ってパラメータ化され、音声モデルと同様に、フローマッチング目的関数を使って訓練されます。

さらに、Voiceboxは、まるでレストランのメニューのように、音声の生成において、品質と実行時間の間のトレードオフをユーザーが自由に選べるように、異なる数の関数評価（NFEs）を用いて音声を生成することができます。これにより、Voiceboxは10回未満のNFEで非常に高品質な音声を生成することができ、これは自己回帰モデルに比べて大幅に高速です。まるで高速ピザ配達のように、Voiceboxはあなたの音声を素早く、そして美味しく提供します！

以上が、Voiceboxのメソッドについてのユーモラスな説明です。

この研究では、主に以下の3つの指標が用いられています。

Word Error Rate (WER): これは、生成された音声の品質を評価するための指標で、生成された音声をテキストに変換し、それが元のテキストとどれだけ一致しているかを評価します。WERは、挿入、削除、置換のエラーを考慮に入れて計算されます。

Audio Similarity: これは、生成された音声が参照音声とどれだけ似ているかを評価するための指標です。これは、音声のスペクトログラム間のコサイン類似性に基づいています。

Mean Opinion Score (MOS): これは、人間の評価者が音声の品質を評価するための指標です。評価者は、音声の品質を1（最低）から5（最高）のスケールで評価します。

これらの指標は、モデルが生成した音声がどれだけ元の音声と一致しているか、または人間の耳にとってどれだけ自然に聞こえるかを評価するために使用されます。

Voiceboxの実験結果は、まるでスーパーヒーローが新たな力を手に入れたかのような感じです。このAIは、60K時間の英語のオーディオブックと6つの言語で50K時間の多言語のオーディオブックを飲み込み、その結果、テキストからスピーチへの変換、スピーチのノイズ除去、スピーチの編集、多様なスピーチのサンプリング、そしてスピーチ認識のためのデータ作成といったスーパーパワーを手に入れました。

そして、このスーパーパワーは、他のAIヒーローたちと比較しても頭一つ抜け出ています。それはまるで、スーパーマンが他のヒーローたちを見下ろすような感じです。Voiceboxは、VALL-Eを上回り、新たな最先端の英語ゼロショットTTS結果を達成しました。それはまるで、スーパーマンが新たな力を手に入れたかのようなものです。

さらに、Voiceboxは、6つの言語で高品質なクロスリンガルゼロショットTTSを実行できる最初のモデルです。それはまるで、スーパーマンが新たな言語を話す能力を手に入れたかのようなものです。

そして、Voiceboxは任意の長さのスピーチをインフィリングでき、以前のSOTA A3Tをテキストガイドのノイズ除去で上回りました。それはまるで、スーパーマンが新たな超音波の能力を手に入れたかのようなものです。

つまり、Voiceboxは、AIのスーパーヒーローとして、新たな力を手に入れ、他のヒーローたちを見下ろす存在となったのです。

研究者たちはVoiceboxの使用についての倫理的な観点を語っています。彼らは、Voiceboxが人間の声を模倣する能力を持つため、その使用は慎重に管理されるべきであると主張しています。特に、個々の声のプライバシーと尊重についての懸念が提起されています。また、Voiceboxが生成する音声が誤解や誤情報を広める可能性があるため、その使用は適切に監視されるべきであると述べています。研究者たちは、これらの問題を解決するために、Voiceboxの使用を厳格に規制するためのガイドラインを作成することを提案しています。これはまるで、"スーパーパワーを持つスーパーヒーローがその力を悪用しないように、自分自身の行動規範を作る"ようなものです。スーパーパワーを持つとは素晴らしいことですが、それを正しく使う責任も伴います。

Voiceboxが音声生成のスーパーヒーローであることが強調されています。このスーパーヒーローは、テキストと音声の両方を使って、音声の世界での問題を解決します。音声のスタイル変換、ノイズ除去、音声編集、多様な音声サンプリングなど、あらゆるタスクを一つのモデルで解決します。まるで音声生成のスイスアーミーナイフのようですね！

さらに、Voiceboxは音声生成の評価基準を提案しています。これはまるで、スーパーヒーローが自分自身の強さを評価するための新しいスケールを作り出したようなものです。これにより、他の音声生成モデルとの比較や、新たなモデルの開発が容易になります。

そして最後に、Voiceboxの未来の冒険について語られています。より大規模なデータセットでの訓練、さらなるモデルの最適化、新しいタスクへの適応などがその冒険の一部です。これらの改善により、Voiceboxはさらに多くのタスクを解決し、音声生成の可能性を広げることが期待されています。まるで、スーパーヒーローが新たなスーパーパワーを手に入れ、世界を救うための冒険を続けるようなものですね！

「Voicebox」は、まるで音声生成のスーパーヒーローのような存在です。このスーパーヒーローは、50,000時間以上の音声データを飲み込み、その結果、テキストから音声への変換、ノイズ除去、音声編集、音声スタイル変換、多様な音声サンプリングといったスーパーパワーを手に入れました。

それでは、このスーパーヒーローがどのようにしてこれらのスーパーパワーを手に入れたのかを見てみましょう。まず、Voiceboxは、音声とテキストの両方を使って、音声の世界での問題を解決します。これは、まるでスーパーヒーローが自分のスーパーパワーを使って悪者を倒すようなものです。

次に、Voiceboxは、音声を生成するためのモデルを訓練します。これは、まるでスーパーヒーローが自分のスーパーパワーを鍛えるようなものです。Voiceboxは、音声のスタイルをオーディオコンテキストから推測し、テキスト内容はトランスクリプトを通じて指定します。これは、まるでスーパーヒーローが自分のスーパーパワーを使って状況を解析するようなものです。

そして最後に、Voiceboxは、音声生成のための新しい評価基準を提案しています。これは、まるでスーパーヒーローが自分のスーパーパワーの強さを評価するための新しいスケールを作り出したようなものです。これにより、他の音声生成モデルとの比較や、新たなモデルの開発が容易になります。

つまり、Voiceboxは、音声生成のスーパーヒーローとして、新たなスーパーパワーを手に入れ、音声生成の世界を救うための冒険を続けているのです。