ロボットというと、どんなイメージでしょうか？

二足歩行する人型から、ペットのような存在の動物型など、いろいろなロボットが思い浮かぶと思います。

メーカーそれぞれの個性が出ていて面白いですね。

ヤマハから、喋る様に歌うと言ったらよいのか、はたまた歌う様に喋ると言ったら良いのか。何とも不思議なロボットが発売されました。足の動きもカワイイ！

何でもメロディにのせて喋る「うたロボ」”Charlie”の記事が、JASジャーナル2022春号に載っていますので、ご紹介します。

Charlieの特徴

Charlieはコミュニケーションロボットとして、
「仕事のストレスや緊張感を、家では緩めたい。明日のために充電したい」というニーズ応えます。
メロディに乗せた会話で、緩いコミュニケーションを行います。

• 世界初、「言葉をメロディに乗せて会話するうたロボ」（コミュニケーションロボット）です。

• 話しかけると、まるでミュージカルのように歌って答えてくれます。

• たくさんお話しすることで音楽レベルが上がり、30種類以上のジャンルを歌いこなすようになります。

• 挨拶はもちろん、「お散歩行ってくるね～」「仕事で失敗しちゃった…」というような日常会話や愚痴まで、どんな雑談もドラマチックに意外性あふれる歌で返してくれ、シュールな言葉や、思わず吹き出してしまうような言葉を自分から話しかけてくることもあります。

開発の経緯

一人暮らしをする働く20～30代の女性に行った調査結果から、20～30代の女性の8割以上がストレスや悩みを完全には吐き出せておらず、約7割の人が家族・友人・同僚等の身近な人に相談する反面、3割近い人が家族や友人、同僚以外にストレスや悩みを吐き出したいと考えていることが浮き彫りになりました。

ストレスや悩みを相談する相手に求めることは、「アドバイスをくれる」「問題点を整理してくれる」などの問題解決型のアクションだけでなく、「共感してくれる」など、気持ちに寄り添ってくれることに期待をしている人が多いようです。

Charlieはユーザーがリラックスできるように、歌で気軽にコミュニケーションができる“うたロボ”として企画開発されました。

Charlieはとうして歌えるのか

ユーザーの発話音声は、クラウド上のシステムによってCharlieの歌うオーディオに変換されます。
発話音声は、まずSpeech to Text (STT) システムによってテキストデータに変換されます。
テキストデータに変換されたユーザーの発話は、自然言語処理システム（NLP）によって解釈され、発話内容にふさわしい応答文が作成されます。作成された応答文は、Text to Song（TTS）システムに渡され、2～6小節の長さの伴奏付きの歌唱オーディオデータに変換されます。

Charlieの応答作成の核となるのが、TTSシステムです。
TTSシステムについて詳しく説明します。

TTSは、2・3・4・5・6小節の長さの伴奏オーディオデータと、6小節のメロディを半小節あるいは1小節に分割した断片的なメロディデータを大量に保有しています。
断片化されたメロディは、曲調に合うように伴奏とセットで保持されています。また、早口のような不自然な歌唱にならないように、区間内の最大の音数が決められています。

NLPで作成された応答文は、文節や句読点の区切りで分割され、ひらがなの文字列として出力されます。
また、応答文に合うような曲調のデータも付与されます。
TTSは指定された曲調に合うように、分割された文字列毎にデータベースとして持つ半小節あるいは1小節のメロディを割り当て、1曲分のメロディに結合します。作成されたメロディは、歌声合成エンジンVOCALOIDによってオーディオに合成され、伴奏のオーディオとミックスされます。

また、TTSではメロディや伴奏とともに2・3・4・5・6小節の長さのダンスのデータも持ちます。ダンスデータは、音楽の拍を基準に動作するように記述されており、Charlieが歌う曲のテンポが変わっても曲に同期して躍らせることができます。ダンスデータは、3段階のテンポの速度範囲（遅い、普通、速い）で区分けされており、Charlieの応答曲のテンポによって適切なものが選択されます。

こうして、Charlieの応答の曲とダンスが作成され、Charlieにダウンロードされて再生されることによって、Charlieは歌いながら踊ることができます。

詳しい内容は、以下のJASジャーナルへ

#オーディオ #audio #YAMAHA #ヤマハ  #コミュニケーションロボット
#ストレス軽減