MESONが企画する、"Apple Vision Pro 1ヶ月記事投稿チャレンジ"　第21日目の記事になります。
前日の記事はこちらからどうぞ！

みなさんこんにちは。MESONのAIエンジニア髙村と申します。
本記事では「空間コンピューティングに取り組むMESONが、AI技術の研究開発をするワケ」と題して、MESONのAI研究プロジェクト「Spatial Computing Lab」通称SCLの歩みと、空間コンピューティング時代における人とデジタル情報の関わり方についてApple Vision Proの登場による可能性を紹介し、これからのSCLの活動を示したいと思います。

執筆にあたってSCLの発揮人、MESONのConceptualizerえんちゃん(@_null)に協力いただきました。ありがとうございます！

MESONでAIを研究するプロジェクト、通称SCL

MESONは空間コンピューティング領域を専門としています。しかし、私たちの真の目標は、人とデジタル情報の関わり方を一から見直し、その新しい関係性を社会と結ぶことにあります。故に、私たちは技術者としての役割を超え、深く哲学的な姿勢でこの課題に取り組んでいます。

さらに、空間コンピューティングの技術とAIの力を組み合わせることで、いったい何を叶えられるのか？人はどこに向かっていくのでしょう？こういった問いをおもちゃにし、まるで遊ぶようにして出来たプロジェクトがSpatial Computing Lab、MESONの空間コンピューティングを考えていく上での「遊び場」です。

対話型AI、LAMIIから得たこと

SCLの原点に遡ると、MESONが主催した対話イベントARISEにおけるAI「LAMII」の開発に行き着きます。

LAMIIは、長期記憶やファインチューニングを駆使して、まるで人格を持つかのようなAIエージェントでした。このようなAIは今では珍しくありませんが、LAMIIが開発された2023年5月当時は、そのような例がほとんどありませんでした。MESONはARISEに、この即座に会話を記憶し、その記憶を基にリアルタイムで対話を生成・更新する、LAMIIを参加させました。彼女を、その場の会話を通じて「人格のようなもの」を形成することから、Collective AI-chemyと称しました。

この実験から得られたことは、現代のAIやその開発プロセスは、入力された言葉に対して確率的に適切な回答を返すことに主眼を置いて設計されており、あくまで良好な人間関係を築くための学習は行われていないということです。
良好な人間関係を築くためには、哲学や心理学の探究が必要とされ、時には「ミス」や「事足りなさ」さえも重要な役割を果たす可能性があると考えます。
LAMIIの開発を通じて、人間のような揺らぎを取り入れることの難しさを痛感しました。理想的な状態に到達することはできなかったかもしれませんが、「彼女が物を知らない演出」を施すことで、ある程度の人間らしさを模倣しました。しかし、結局のところ、標準のChatGPTと同様に、人々の役に立とうとする「正解らしきアプローチ」に頼ってしまいます。

この経験から、私たちが目指すのは、業務効率化を目的としたCopilot AIではなく、人間関係を豊かにし、普段気づかない新しい行動や活動への挑戦を促すAIです。このアプローチは、ドラえもんや、大人に気づきを与える子供のような、もっとパーソナルで人間味のあるものだと言えるでしょう。

Vision Proがもたらす空間コンピューティングシフト

ここで一度、我々SCLの視点から、Apple Vision Proがもたらした、空間コンピューティングシフトを後押しする技術的メリットや今後生まれていくであろう体験について触れていきます。

視覚面で考えること

高解像度であること、パススルーの精度が高いこと、また現実世界の照明に応じてオブジェクトを配置した際に影を表示できるといった点から、まるでそこに本当に存在するかのように3Dオブジェクトを配置することができ、その位置関係や距離感まで自然な体験を演出することができます。

既にリリースされているAIによるコミュニケーション機能を有したアプリに「Xaia」というメンタルヘルスサポートアプリがあります。
実際に試してみましたが、パススルーによってAIロボットが目の前に立っている様子やそのロボットの目線、体の動きなど些細な仕草の設計は、人との心理的な距離感を縮める要素として機能しており、Vision Proのポテンシャルを活かした体験設計の一つだと感じました。

聴覚面で考えること

先に「位置関係や距離感まで生き生きと自然な体験を実現」できると述べましたが、この一助として空間オーディオ技術による空間の演出があります。
音の大きさや方向が繊細に制御されるため、アプリの配置位置と自分の位置関係に応じた音を聴かせることができます。
受動的ではなく、能動的に人がデジタル情報を受け取ることができる体験設計についても思考を進めているのですが、ストレスなく自然な形で「能動的」な情報の受容をしてもらうための技術として注目しています。

空間オーディオについては本投稿企画の記事「Apple Vision Proに見るこれからの音のあり方」で弊社のディレクター/サウンドデザイナーが語っているのでこちらもぜひご覧ください。

空間を占有するということ

パススルーを活用した、現実空間への干渉によって「空間の奪い合い」が生じるのではないかと言う見立てが社内で上がっていました。

アプリケーションの「姿形」、UI/UXについて、ユースケースに応じてどのようなデザインが求められるのか、空間に配置することを前提に設計することが重要になると考えています。
この点については本投稿企画の以前の記事「VisionProアプリの今後のUX・UIを推測」でも弊社ディレクターが触れています。

弊社のアプリ「SunnyTune」は空間を占有すると言うことに対し、情報雑貨の概念を持ち、常に空間に置いていただくことで、能動的では無く、より直感的・身体的にデジタル情報にアクセスできる体験設計がなされています。

SCLが造る空間コンピューティング時代の体験

初めに述べましたが、SCLではAI技術を通して、人とデジタル情報の関わり方を一から見直そうとしています。

特に、キャラクターを目の前に配置しコミュニケーションを取るなど従来から行われてきた対話ベースの体験設計を空間コンピューティングの土俵で行うだけではなく、SunnyTuneで示した「情報雑貨」をはじめとした新たな人と情報の関わり方において、人の要求・モチベーションをくすぐり、情報を与える・行動を変容させることに取り組みたいと考えています。
そのキーになるAI技術として、LAMIIにおいても検証していた、問答の内容や、キャラクター性についての研究開発から、現在ではより人の情動を捉える方法についての研究開発も進めています。
具体的には表情や声色など視覚的、音響的なマルチモーダルな情報から人の情動を捉えようとしています。

Vision Proのポテンシャルや空間コンピューティングへのシフトに伴う新たなUI/UXの登場、そして「空間を占有する」という観点から物理空間とのコラボレーションも情報の出力法として考えられます。
手段が多様化し、どのようなデジタル情報との関わり方が理想なのか、まだアイデアはまとまっていませんが、SCLはMESONの「遊び場」として率先して検証を重ねていきます。

最後に

長い記事となってしまいましたが、我々MESONがAI技術を通して追求しようとしているものの一端が伝われば幸いです。
今後もMESONが示していく、空間コンピューティング時代における人とデジタル情報の関わり方へのアプローチに注目していただければと思います。

最後にSCLを主宰するえんちゃんのメッセージを持って本記事を終わりとします。

人と自然、そしてAIとの共生を描く

私たちはプロジェクトの始まりから、友達のように側にいてくれるパーソナルエージェント「Familiar」、人と人とをつなぐパーソナルエージェントネットワーク「Persona Net」、人間関係を仲介するペット「Co-ring」、そしてAIを含めた複数人参加の音声チャット「AI Facilitator」など、様々なコンセプトやプロトタイプを開発してきました。

振り返ってみると、AIを単なる道具とみなす一般的な見方とは異なり、私たちはそれを人間と同様に扱っているように思います。この考えを深めていくと、人とAIの共生というビジョンがぼんやりと浮かんできます。一般的にテクノロジーと言えば「人がコントロールするもの」というイメージがあり、AIとの共生は異端視されがちです。しかし、日本人にとっては、子供の頃からドラえもんのような存在に親しんできたり、自然の中に偉大さを感じたり、自分の中でみんなの気持ちを察することが日常であるため、ごく自然な感覚かもしれません。

最近ですと、OpenAIの分裂騒動や、人権問題を含む過激なa16zの声明、AGIの将来に関する議論を目の当たりにして、これらに違和感を感じた日本人は少なくないでしょう。今、「私たちにとってのテクノロジーとは何か」を再考し、「私の中の日本の感覚」とは何か？それは大切なのかどうか？そうであれば何をどう選択するかを考える必要があります。

AIの日常的な利用と、ユースケースからの学習の反復が進む中で、文化の均一化が進む可能性があると考えています。そう、今に生きる人は、めんどくさい想像コストよりも確率的な「正解」を求めがちです。
「ガラパゴス化」や「空気を読む」ことが否定的に捉えられることもありますが、物事を二元的に捉えるのではなく、より多角的に見ると新しい発見があります。

私は、想像力や精神性を大切にする日本独自のコミュニケーションスタイルが、グローバルなAIのトレンドとは異なるアプローチをとり、人々の孤立問題を解決するかもしれないと期待しています。このような独自性が、私たちの強みとなり得るのです。

体験会・勉強会実施のお知らせ

MESONでは、オフィスなどでのVision Pro体験会実施や企業向けの研修プログラムの提供を行っております。今回紹介した"SunnyTune"もインストールされてますので、興味のある方はぜひお問い合わせフォームよりご連絡お待ちしております。

MESONではともに空間コンピューティングシフトを起こす仲間を募集しています

私たちMESONは様々な企業様とともに空間コンピューティング技術を活用し、人々のまなざしを拡げる共創プロダクト開発を主力事業として取り組んでいます。空間コンピューティングシフトの挑戦に取り組むためにも、MESONではいま全職種積極採用中です！

このnoteを読んで、Vision Pro や空間コンピューティングに興味をもった方、MESONで空間コンピューティングシフトをともに起こしたいと思った方は以下のページからぜひご連絡ください！