2022年3月31日まで開催されているドバイ万博の日本館展示で、バスキュールが開発した音声AR技術が活用されています。2018年以降、さまざまなイベントや展示会場などで音声による新たな体験づくりに取り組んできた音声ARの集大成とも言える日本館の展示では、来館者に没入感のあるリッチな音声体験を提供するために、ソニーと共同でシステムを開発。今回は、日本館展示に携わったソニーから佐藤哲也氏、繁田脩氏、松平謙英氏を迎え、バスキュールのテクニカルプロデューサーとして、音声ARの体験づくりをマネジメントした中山誠基、来館者が操作する音声ARアプリを実装したまえがわかずひさとともに、エンジニア目線から本展制作の舞台裏について話しました。
（扉写真：左からソニーグループ株式会社 松平さん、ソニーマーケティング株式会社 佐藤さん、ソニーグループ株式会社 繁田さん、バスキュールまえがわ　撮影：バスキュール中山）

システム開発の経緯

ーまずは、本日の座談会のテーマでもあるドバイ万博日本館の概要について教えて下さい。

中山　ドバイ万博日本館では、「Where ideas meet アイディアの出会い」を掲げ、来館者が日本の自然観や文化、テクノロジーと出会うことで感性や知恵、技術を得て、仲間とともに世界的な課題を解決する未来のアイデアを得るという体験のストーリーを設定しています。来場者は6つのシーンを旅していく形になるのですが、予めお渡しするスマホ端末とイヤホンがセットになった音声ARキットが多言語で音声案内をするとともに、各ユーザーの位置情報や回遊データなどに応じてパーソナライズした体験を提供します。最終的に来館者は自らの興味関心をもとに4つのグループにわけられ、一人ひとりが会場で集めたさまざまなアイデアが出会うことで未来が変わっていくことを体感できる展示になっています。

ー展示の根幹を支える音声ARとはどんな技術なのですか？

中山　文字通り音声によって現実世界を拡張する情報を与える技術です。例えば、ユーザーの位置情報をもとに音声情報や音楽を流したり、今回のような展示においても来館者の位置情報にもとづいて音声を出し分けることができます。よく展覧会の音声ガイドなどと間違われるのですが、来館者の行動に応じて情報が出し分けられ、ユーザーの行動履歴をリアルタイムでモニタリングできる点が大きな違いです。

ー今回、ソニーとシステム開発をすることになったのはなぜですか？

まえがわ　バスキュールの技術では来館者の位置情報は取得できても、どの方向を向いているのかというところまではわからなかったんです。ソニーさんが持つ屋内位置姿勢推定技術はそれを取得できるものでしたし、ソニーさんが培ってきたSound AR™のインタラクション技術を用いることで、音声ARをよりリッチで没入感のある体験にしたいと考えていました。

佐藤　Sound AR™は、現実世界に仮想の「音」が混ざり合う、ソニーが提案する新感覚の音響体験です。今回の日本館の展示では、弊社のオープンイヤー型のイヤホンによって会場のスピーカーから流れるBGMと、イヤホンからの効果音やナレーションをミックスしています。また、Xperia™スマートフォンのセンサーを活用した屋内位置姿勢推定技術と、音声が特定の場所から鳴っているような立体的な音場をつくる360(サンロクマル)立体音響技術を組み合わせ、来館者の位置や身体の動作、向きなどに合わせて立体的な音響空間をリアルタイムで生成するということをしています。

部署を超えた異例のチーム編成

ーソニーの皆さんにおける今回の役割分担についても聞かせてください。

佐藤　僕はソニーマーケティング株式会社でビジネス面のプロデュースを担当しているのですが、今回は我々の技術を日本館の体験に落とし込む部分のプロデュースとディレクションをさせていただきました。

繁田　僕はソニーグループ株式会社のR&Dセンターに所属しており、今回は360立体音響技術やそれを制御するインタラクション技術などを担当しました。

松平　僕はまだ入社2年目で経験が浅いのですが、同じくソニーグループ株式会社のR&Dセンターに所属し、屋内位置姿勢推定技術の研究開発に携わっています。今回は来館者の位置に応じて音を出すという部分に我々の位置測位の技術が活用されています。

佐藤　実はこの3人が同じプロジェクトに関わるのは今回が初めてでした。僕は普段から社外の方とお仕事をする機会が多いのですが、繁田と松平は社内で技術を開発し、製品に埋め込むことが仕事なので、今回のようなチーム編成は社内的には珍しかったと思います。

ーバスキュールとしては、音声ARを他社の技術とつなぎ合わせるような例は過去にもあったのですか？

中山　これまでも音声ARでは、国際航業による高精度リアルタイム位置測位技術「Quuppa」を使わせて頂いていましたが、今回のようにお互いの技術を持ち寄って新しい体験をつくるというのは初めての試みでした。

まえがわ　常に最新のプロジェクトでは、それまでに蓄積してきた音声ARの経験をすべてつぎ込んでいくわけですが、今回はそこにソニーさんの技術をつなぎ合わせていくことが新しい試みでした。また、来館者一人ひとりがどんな興味関心を持って館内を回遊したのかというデータから、傾向が近い人同士を繋げたり、同時体験者の集合知として毎回演出が変化するというのも初めてのことでした。

中山　今回の万博のパビリオンの中でもこれだけ来場者のデータを活用しながら、パビリオン内の演出を企画していたところは他にないと思います。

最後は現場で勝負

ー万博日本館の体験がつくられたプロセスについてもお聞かせください。

中山　今回はとにかく関係者が多かったこともあり、国際博覧会という場で日本として何を示すのかという企画の部分が定まるまでに時間を要しました。まず伝えたいメッセージの軸があった上で、それを実現するためにテクノロジーを検討するというのがいままでの流れだと思うのですが、今回は技術や体験と一緒に企画を詰めていく形になりました。

佐藤　企画段階から我々の技術もお見せしていたのですが、いざ開発のすり合わせを始めると、色々と課題が見えてきて、なかなかしびれる体験でしたね(笑)。

中山　音声ARの特性上、現地の環境以外の場所で検証してもわからないことは多いし、体験の最終の落とし込みは現地でチューニングせざるを得ないところもあるんですよね。

繁田　良い体験をつくるためにはやむを得ないことだったと思います。特に今回は関係者が多い中、バスキュールさん側がこちらに流す情報を整理してくれたので非常に助かりました。

松平　まえがわさんや中山さんは測位のことをよく理解していただいた上で、どういう体験をつくっていきたいのかということをお話しいただき、こちらとしても色々な気づきがありました。今回の展示では鏡張りの部屋があり、鏡の干渉によって測位データに誤差が生じることが事前にわかっていたのですが、おふたりと話をする中で、測位にズレが出ても来館者の体験を違和感なく成立させるためのチューニングに舵を切ることができました。その他の部分についても、測位の数値的な誤差やズレが体験にどう影響を与えるのかという観点から会場をひたすら歩いてチューニングを行っていきました。

まえがわ　松平さんは館内をひたすら歩いて測位の精度を調整されていましたよね。

松平　万歩計をつけていたのですが、大体1日2～3万歩だったので、10～15キロほど歩いた計算になります。それを実質1週間続けたので、計100キロくらい歩いている可能性がありますね(笑)。

すべてはより良い体験のために

ーバスキュールは、宇宙など現地に行くことさえ難しいようなプロジェクトも手がけていますが、そうした経験も今回の展示にも活きていそうですね。

まえがわ　宇宙はもちろん、テレビの生放送やさまざまなリアルイベントなどの現場を経験してきたので、何が起きてもあまり動じなくなったというのはありますね(笑)。あらゆることに対応してきた経験があるので今回も緊張や焦りはなかったのですが、ソニーさん側にまで影響が及んでしまいそうになった時は自分の中でアラートが出ていました(笑)。

繁田　まえがわさんは問題が起こる可能性がある時に、どこまでは大丈夫でどこからが危ないのかという判断をしっかりされ、対応策も提案をしてくださるので安心できました。

松平　何かわからないことがあったらとにかく実験をしてみるというのが自分の研究スタイルで、何か判断を迫られた時にももう少し検証をしたいと考えがちなんですね。その点、決断が迫られた時に明確な目標にもとづいて方針を立て、限られた期間の中で取捨選択をしながらプロジェクトを高めていくバスキュールのおふたりの進め方はとても勉強になりました。

中山　もちろんスケジュールも含めプロジェクトがスムーズに進むことがベストですが、もしそうならなかった時でも現場で試行錯誤しながら、少しでも良い体験にしていくために粘るというのがバスキュールの文化としてあると思います。今回はそこにソニーさんを巻き込んでいいのかという葛藤があったのですが、ハードルが高い課題にいかにエンジニアにストレスなく取り組んでもらえるかというところは常に意識しています。そのぶん、現場で私とまえがわはバチバチでしたが(笑)。

佐藤　現場でバスキュールさん側から音量をもう少し上げられないかと聞かれたのですが、システムやデバイスの関係上難しいところがあったんです。でも、ここで応えられないとこちらが負けのような気がして(笑)、社内で色々検討を重ねてなんとか対応することができたのですが、その辺の引き出し方もうまいなと(笑)。

繁田　技術というのは単体ではお客様の価値にならないので、それをいかに使うのかが肝になります。その点、バスキュールさんは我々の技術をうまく体験に昇華してくれる優れた料理人だなと感じました。

まえがわ　今回はなるべく隠し事なしでお互いの技術をオープンにしていけたことも良かったかもしれないですね。ソニーさんからはお互いの技術を連携する上で必要なソースコードなどをご提供頂けましたし、こちら側のデータやデバッグツールなどもお渡しし、ソニーさん側で検証できる環境も整えました。

佐藤　バスキュールさんがデータだけではなくサーバーも開放してくれたので技術の連携は非常にスムーズでしたし、国内でのほとんどの作業をリモートでやり抜けたというのは大きかったですね。

中山　技術をオープンにすることなどそうですが、今回は日本に期待して来てくれる世界中の人たちに驚いてもらえるものをつくりたいというメンバー共通の思いがあり、それが色々な困難を乗り越える力になったように思います。

未来の新しい体験づくりに向けて

ー改めて今回のプロジェクトを振り返ってみての感想や、今後の展望などについてもお聞かせください。

松平　普段の仕事では、地図を見て歩きながら測位の精度の評価・調整をしていくのですが、今回のプロジェクトではそのひとつ上のレイヤーにある体験をつくっている感覚がありました。そうした部分に自分たちの技術やチューニングが貢献できていることにやりがいやうれしさがありました。また、来館者やクリエイターの人たちに自分たちの技術を使って頂くことによって多くの課題も見えてきました。同時に測位技術のひとつの使い方が見えてきた部分もあるので、今回の経験を活かしながらイベントや展示会場での活用に特化した技術も開発していけると良いなと感じました。

佐藤　我々の使命は新しい技術を通じて、お客様の体験を新しいものにしていくことです。またその時に、複数の新しい技術を組み合わせることで生まれる新しい体験があると思っています。

繁田　僕はつくったものと同じくらい、過程というのもの大事にしています。その点、今回はバスキュールさんと良いものをつくっていく過程そのものが醍醐味でしたし、作業としては大変でしたが、やりがいを感じながら楽しく取り組むことができました。また、R&Dセンターは、研究開発部門という特性上自分たちだけの力で技術を世の中に出していくことが難しいと感じているため、バスキュールさんとご一緒した今回のプロジェクトのように、自分たちの技術を世の中に問うていくような試みは今後も続けていきたいですね。

まえがわ　他にもそういう案件があるので、よかったらぜひ(笑)。音声ARのプロジェクトはいまもいくつか動いているのですが、その中でまたソニーさんとご一緒できないかと密かに考えています。僕らは新しい体験をつくっていくにあたってさまざまな技術をインプットしておきたいというのがあるんですね。繁田さんが僕らのことを料理人にたとえてくれましたが、それこそソニーさん側にある材料をもっと見てみたいですし、まだ見ぬ未来の案件に向けてぜひそうした機会もつくれるといいなと思います。

中山　これまで約4年をかけてさまざまなことにトライしてきた音声ARの集大成を世界にお披露目でき、色々な学びを得ることができました。今回のプロジェクトを通じて個人としても、バスキュールとしても成長できたと思いますし、ソニーさんとご一緒できたことも非常に良い経験になりました。もともと音声ARは、こういうものがあったら楽しそうというところから生まれたプロジェクトですが、結果として万博という場にたどり着けたことに大きな価値があると思っています。今回得られた、展示内での位置情報データ活用による演出企画の知見は今後のチャレンジに向けても非常に大きなことだと思いますし、この取り組みをここで終わらせず次回につなげていきたいですね。

［取材・文］原田優輝(Qonversations)