ちゃっす(/・ω・)/

DreamTalk というやつの Colab コードが公開されていたので試してみたぞ☆

これなぁに(　・ω・)？

に対するアンサーとしては、なんか顔写真と音声と感情を選択すると、すべてを考慮したパクパク動画ができるのである(/・ω・)/

今回は dreamtalk_gradio_colab でシュッと試してみるのである(/・ω・)/

この Colab を開いてコピーを作成したのちに、何も考えずにコードを実行するのである(/・ω・)/

すると URL が表示されるのでアクセスすると

ほいで喋らせたい画像をアップロードして、音声とスタイルを選択するのじゃ(/・ω・)/

元々のコードを実行するだけだと事前に用意された音源しかないのであるが、/dreamtalk/data/audio に自分の音声を置いて、コードをちょちょっと修正して実行すると自前のやつが選択できるぞ☆

今回は elevenlab.io で作成したワタクシのボイスクローンであけおめボイスを使用するのである(/・ω・)/

んで、実行すると動画ができますの(/・ω・)/

実際の動画はこんな感じ

とっても簡単(/・ω・)/

勝手に他人の画像を使うのはあれだけれど、自分のアイコンとか喋らせると面白いでござんす(/・ω・)/

んでまぁ、やってはみたものの何が凄いの(　・ω・)？

的な話をふにゃっとすると

口をパクパクするノイズモーションに対して音声と画像を基にいい感じの専用パクパクモーションをつくれるってとこかしら(/・ω・)/

詳しくは論文でも読んでくださいな(/・ω・)/

ということでシュッと遊んだのでおしまい。