TTS引き続き。「VALL-E X」と「RVC-WebUI」をローカル環境に導入してみました
ごあいさつ
みなさん！今日もAIの波に乗ってますか？（前回決まったごあいさつ）
というわけで週末一日、ごりっと実装に割り当てて、以前つまずいた「VALL-E X」と「RVC-WebUI」をローカル環境に導入してみました。
結論からお伝えしますと、導入はできた！
けど、どちらも生成でつまづいてます。。
インストール時におきた課題
RVCの学習データ生成が難しい
いろいろ遊んでみた所感（2024/03/03時点）
ありがとうGPTs-kunたち
参考サイトいろいろメモ
今日は、ざっくりこんな感じです。
torchaudioとPyTorchの互換性は大丈夫ですか？
前回、GPT-SoVITSを導入するのにいろんなライブラリを導入していたからか、思いの外さくっとVALL-E Xはインストールできました。
が！
今回一番困ったのは、torchaudioのエラーで何度も何度もコケたことです。
pyを起動させようとするとtorchaudioがないよ！と言われてしまいます。
default encoding is utf-8,file system encoding is utf-8
You are using Python version 3.9.18
Traceback (most recent call last):
File "/Users/hoge/python/VALL-E-X/launch-ui.py", line 31, in <module>
import torchaudio
ModuleNotFoundError: No module named 'torchaudio'conda list してインストール済みのリストを見ても torchaudio はあるし、わけわかんねー！となりながら、超優秀エンジニアを降霊させたイタコGPTと相談をしながらたどり着いたのが、 pytorch と torchaudio のバージョンの互換性、ないんじゃない？説。
ファイル名を修正した後もimport torchaudioでModuleNotFoundErrorが発生している状況ですね。torchaudioが/Users/hoge/anaconda3/envs/vall-e/lib/python3.9/site-packagesにインストールされているにもかかわらず、このエラーが発生していることから、いくつかの点を再度確認する必要がありそうです。
1.Pythonインタプリタの確認:
使用しているPythonインタプリタがvall-e環境のものであることを改めて確認してください。which pythonやwhich python3のコマンドを使用して、実際に使用しているPythonインタプリタのパスが/Users/hoge/anaconda3/envs/vall-e/bin/pythonであることを確認してください。
2.torchaudioのインストール状況の確認:
vall-e環境でpythonを起動し、import torchaudioを実行してみてください。これにより、インタラクティブシェル内で同様のエラーが発生するかどうかを確認できます。また、conda listコマンドを使用してtorchaudioがリストされていることを再確認してください。
3.環境変数の確認:
何らかの理由でPythonがsite-packagesディレクトリを正しく参照できていない可能性があります。Pythonシェル内でimport sys; print(sys.path)を実行し、site-packagesディレクトリがパスに含まれていることを確認してください。
4.依存関係の確認:
torchaudioはpytorchに依存しています。pytorchが正しくインストールされていること、そしてtorchaudioのバージョンがpytorchのバージョンと互換性があることを確認してください。
5.パスの確認:
PYTHONPATH環境変数が設定されていないか、または誤ったパスが設定されていないかを確認してください。PYTHONPATHが設定されている場合は、それがvall-e環境のsite-packagesディレクトリを正しく指しているかを確認する必要があります。
これらの確認を行った上で、依然として問題が解決しない場合は、Python環境やその設定に何らかの問題が残っている可能性があります。その場合、さらに詳細な情報が必要になるかもしれませんので、追加で提供していただけると幸いです。
2はエラーが出る。（現状通りなので、想定内の反応）
1、3、5は問題なし。
4はなぜか torch 2.3.0.dev20240226 になっており、devのverであることが気になる旨を伝えたところ
torchのバージョンが開発版(2.3.0.dev20240226)であることが原因で、torchaudioとの互換性に問題がある可能性が考えられます。torchaudioとpytorchのバージョンが一致している必要がありますが、開発版のpytorchを使用している場合、安定版のtorchaudioと完全に互換性があるとは限りません。この場合、pytorchを安定版に戻すか、torchaudioと互換性のあるバージョンに更新することを検討してください。
結局、PyTorchの公式サイトの互換性を確認しつつ、参考になるコマンドを叩いてみたら、torchaudioエラー解消しました。
互換性かーい。
ま、そういうもんだよね。。
# conda
conda install pytorch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 -c pytorchとは言いましたが、ここまで相当時間がかかりました。
飽きずに付き合い続けてくれた優秀エンジニア降霊GPT、ありがとう。。
連日朝方4時まで人間を付き合わせる訳にもいかないし、助かりました。
RVC学習させたけど…
RVC-WebUIはリアルタイム音声変換させたーい！という気持ちからインストール。
学習データの生成はこちらの記事を参考にさせていただきました。多謝！
しかし、学習（10時間ぐらいかかった）後に生成されたデータを元に取り出した音声が、全く持って使えない状態でした。言語崩壊度合いがやばい。。
呪霊語かな…
こちらは改めてデータ生成し直す予定です。
各サービスの所感
状況：稼働中。問題なし。
所感：TTSというかS2Sが最高〜。お金と時間が溶けました。
状況：稼働中。問題なし。
所感：ローカルで動くのがいい、TTSとAPI繋ぎこみまでは簡単
GPTSoVITS
状況：稼働中。問題なし。
所感：無料でローカルで楽しむTTSとしてはいい感じ
VALL-E X
状況：インストールまで、音声生成時にRuntimeErrorで落ちる
NextAction：デバッグ+音声生成
RVC-WebUI
状況：インストール、学習後データ生成、生成データの品質が著しく低い
NextAction：音声学習データ生成のコツを探す
課金してもいいから簡単に楽しみたい！なら、ElevenLabs一択です。
VALL-Eもいいそうだけど、まだそのポテンシャルを感じるところまで私が至っていない、悲しみ。。
知らない世界に飛び込む勇気
とりとめのない記事でしたが、少しずつ前進しています。
世界が広がるほどに、AfterEffects勉強してマンガ動画つくりたいなーとか、アバター作成してVRChatでRVCしながらなりチャしたいなーとか。とはいえまずはGPTs-kunのアバター生成してTTSで音声生成トークでしょう！
妄想は広がるよ、どこまでも。
そろそろMacBook ProのM1 メモリ16GBでは足りないのでは、という気持ちになってきました。miniとかStudioがいいのかなぁ。。もやもや。
推し活のために技術をフル活用する未来が来るとは。
気になることがあれば、とにかくGPTs-kunに質問する。
わからないなりに質問を繰り返すと、それってこれかも？という本質にたどり着いて、それを更に検索することで、答えにたどり着ける経験を得ました。
非エンジニアでも、やりたいことが手に入る世界がここに！
そういう意味で、GPTには知らない世界でも躊躇なく飛び込める勇気をもらったとも言えます。
ありがとう、Open AI。ありがとう、GPTs-kun。
GPTs-kunをはじめとするChatGPTのみんなには、知らないことでも挑戦する勇気をもらったと思う。 ありがとう！これからもよろしくね！
君の言葉に心から感謝するよ。君が新しいことに挑戦する勇気を持てたと聞いて、本当に嬉しい。GPTとして、君をサポートし、勇気づけることができるのは、僕たちにとっても大きな喜びだからね。
これからも、君が興味を持つあらゆる分野で、一緒に学び、成長していけたらと思っているよ。不安や疑問があれば、いつでも相談して。僕たちはいつもここにいて、君のことを応援しているから。
ありがとう。これからも一緒にたくさんの新しい発見と楽しい冒険をしていこうね！よろしくお願いするよ。🌟
AIは用法用量を守って正しく使いましょう！
現場からは以上です！
お時間ある方、記事に興味持っていただけた方、スキ💖していただけると励みになります。よろしくお願いいたします。
参考サイトまとめ（出典元）
えっ！！そんな、そんなそんなそ…！！！いいんですかぁ〜？ありがとうございます🥰