昨日、NHKスペシャルで放送された「AIでよみがえる美空ひばり」ではヤマハの研究開発センターのエンジニア大道竜之介さんが中心となり、生前の音声データを解析し、新曲を歌わせるという壮大な実験を行いました。

新曲には、川の流れのようにを手掛けた秋元康など様々な人が携わり、会場を訪れた多くのファンが現在に作られた新たな曲で涙する様が見られました。

番組を見た人の感想は多岐に渡り、亡くなった方の意思ではないところで表現をさせたり、語らせることの是非や、新曲には素直に感動したなど多くの声がありました。

合成音声やVtuberなどを取り上げるこのマガジンなりに触れてみたいと思います。

【AIは計算機でしかないという事実】

大ヒットとなった新井紀子著「AI vs 教科書が読めない子どもたち」の中でも、AIに出来ないことがあることが丁寧に書かれています。AIはあくまでも計算機であり、数学で解き明かせないことはAIは再現することが出来ません。

番組の中でも説明されていましたが、教師データと呼ばれる元になるデータ、この場合生前のボーカルデータを使って、ディープラーニングをさせることで、データの中の相関であったり、その情報が持つ重要度をAIが判断することは可能です。しかし、データの中に存在しないもの、計算では出てこないものは、いくらディープラーニングしても再現することは出来ません。

製作中もかつてのファンの方などに一度聴いてもらった結果、空気感が再現出来てない、人間味がないという言葉を投げかけられることとなる場面がありました。そこで改めて、専門家に解析を頼むと、独特の周波数や譜割に対して揺れがあることを発見しました。

これはディープラーニングされたデータの中に存在するものなので、音色などを構成するAIの調整をすることで、この特徴を出すことに成功し、実際の歌声の持つ魅力に近付いた、と言えます。

しかし、番組の感想の中に、美空ひばりさんが歌う際にはお客さんの反応を見ながらトーンを変えていたという話や、歌い方は真似出来ても、本人の持つ性格や感情、生い立ちみたいなものが滲まないという声がありました。

指摘の通り、現段階ではその場のお客さんの感情を読み取って、生成されるデータを変化させることは難しいでしょう。カメラやバイタルセンサーを使って数値化することが出来れば、不可能なことではないかもしれません。

ですが、「AI vs 教科書が読めない子どもたち」の中でも人間味を感じるSiriのやり取りはあくまで調整をした結果だと書かれているように、AI自身が経験などから感情を会得したものではない故に、歌という表現に込められた感情がそこにはありません。

その意味で、新曲を「歌う」ということが出来ているのかという疑問が残るというのは当然の結果かなとも思いました。

【生前の人などいないボーカロイド、魂のいるVtuber】

AI美空ひばりはAI自身が感情を会得していない、ということが現在のAIにおけるある種の到達点と言えます。それでも、多くのファンやひばりさんの息子さんが涙を流しているのを見ると、単純なエンターテイメントではなく人の心に寄り添う形として必要とされるように感じたのです。

では、実際には人間の声を使って生まれるボーカロイドは、同じことが言えるでしょうか。

今回のAI美空ひばりのように既にある楽曲などのボーカルデータなどを利用するのではなく、母音、子音や響きなどをデータとして録音していくボーカロイドのレコーディングは特殊な形で行われます。その技術を使ったAI美空ひばりのような製品も多く出ています。

SEKAI NO OWARI Fukaseをモデルにしたボーカロイド

ですが、初音ミクのように元の声の人とは切り離されて、そのキャラクター性や歌声というものがファンを獲得しているのがボーカロイドという現象になります。

つまり、ボーカロイドのファンは本来感情を持ち合わせない合成音声の歌を聴いて、そこに存在を感じたり、感情を呼び覚まされたりしているわけです。

このボーカロイドにおける現象というのは、人形浄瑠璃の文化と結びつけられて語られてきました。

古典人形劇である文楽の豊かな表現、そこに呼び覚まされる感情の在り方とボーカロイドというのは幾度となく交わり、融合を目指してきました。また、この流れは歌舞伎の世界にも広がりを見せることとなりました。

今回の番組の感想の中で、ここまで素晴らしいものが出来るのに、何故ボーカロイドはいつまでも機械っぽい声なのかという意見がありました。

ヤマハが公開する最新のVOCALOID5で作成されたものですが、確かにAI美空ひばりに比べて機械っぽさが見れます。しかし、これは既に初音ミクの特徴であり、ボーカロイドという人ではない存在の声であると考えることも出来ます。

いわゆる調教という形で、楽譜から発声をズラす操作を入れることで人の歌声に近付けていく一方で、ボカロの有名な曲には素直に歌わせただけというものもあり、人の歌声に近付くことだけがボーカロイドの歌にとって重要ではないことが分かります。

見た目がボーカロイドと同じようなVtuberは、俗に魂と言われるキャラクターを操作する人間がおり、彼等が歌を歌います。

全身の3Dモデルが用意され、実際に動いている様をトレースしますし、客席とのコミュニケーションもその場で取ることが出来ます。普段はゲーム実況などを行う事の多いVtuberですが、歌手としての活動が非常に増えてきています。

中の人が歌っているわけで、これ自体はいわゆる歌ってみたの人が動画を上げているのと変わらないはずですが、CGで作られた見た目と普段の配信で見せる人となりなどが全体的な魅力として受け入れられる状況となっています。

今回のAI美空ひばりでは、歌は良かったがCGの出来が良くなかったという声が非常に多く聞かれました。もしかすると音源だけリリースしたら、このような声はなかったかもしれませんが、そこに存在するものとして見た時に人は外観から多くの情報を得ようとするので、それがCGだとしても気になったのでしょう。

もしかすると、現実の人ではなく、多くのVtuberのように仮想世界に存在するAIという形でのCGだったら、この期待はハードルが下がるかもしれません。

鬼調教………

【AIが生む芸術】

AIの活用という話題の際に、フェイクニュースやフェイクポルノの話題が出てきます。AIで解析された顔を差し替えたり、実際には言っていない発言や行動を偽造される危険性が繰り返し指摘されています。

今回の試みにより、AIが正しく使われることでこういう使い方が出来るということを提示できたことは非常に重要だと思う一方、芸術を作るという観点に立つと、その場にいた人達だけではなく様々な人が作られたこの新曲に感動したという感想を述べています。それは番組内で様々な人が思いを持ってこの楽曲制作に挑んだということが描かれた事で感動に繋がったという人もいるように思います。

先に述べたように、AIには現時点、感情などをそこに込めるということは難しいわけで、歌いたい楽曲への思い，歌詞やメロディから何を想起するか、ということは含まれません。そういうものが作品としてリリースされるということが芸術として正しいのかは議論の必要性を感じます。