こちらの記事は、MESON（メザン）というARやMRをメインに扱っている会社のメンバーで、来る6月6日のWWDCにて発表されるであろう、AppleのMRヘッドセットの予想をしてみた会の後編になります！

前編はこちらから！

なお、この予測会自体は5/8に実施したものであり、それ以降のリークは踏まえていない内容となっておりますので、予めご了承ください。

また、現実的に当てにいったというよりも、Appleへの高すぎる期待という名の熱い想いが多分に含まれておりますので、その点もご了承ください。

それでは本編へどうぞ。

④ シームレスにMRへダイブする（iPhoneは魔導書）

前編①の中で、AirPodsが提供したシームレスな体験について触れましたが、Appleヘッドセットにはこうしたシームレスな体験を求めたくなる、というのが続いてのトピックとして挙がりました。掛けた瞬間にすぐ起動して欲しいという意味です。

ご存知の通り、AirPodsは蓋を開けた瞬間にBluetoothに接続され、着脱によって音楽のOn/Offがなされます。この”シームレス”にAirPodsを着ける体験が、ヘッドセットにも搭載されるのではないか、という仮説です。

（蛇足ですが、スマートフォンを持ち上げたら起動するという機能は、iPhoneが最初ではないらしいです。Nexus 6に関するブログが確認できました）

さてこの予測会では、”シームレス”な起動とは何かがここから盛り上がりました。そしてこの話をするには、既存の他社のデバイスに触れないといけません。

既存のデバイス

Meta Questシリーズをはじめとした既存のVR/MRデバイスは既に、装着すると起動する機能が整備されていますが、Appleっぽい”シームレスさ”とはまた異なる、というのが、予測会で合意された意見でした。

何が異なるのかを考えた時、例えばMeta Questを装着した瞬間に起動まで一瞬時間が空くであったり、起動した時に少し音が鳴るであったりするし、そもそも最初の画面は専用のデスクトップ画面でありシースルー（＝平たく言うと、現実空間が見える画面）ではありません。

同様に、他のARグラスの話も挙がりました。そもそも起動に時間がかかる・バッテリーやデバイスの発熱の都合でシャットダウンが必要というものが多く、そもそも掛けたらすぐ起動するのが難しいのが現状です。

加えて、ARコンテンツの投影のためにサングラスのレンズのように視界を暗くするものも多いです。前述のFluid Interfaceの観点に立った時、求められるのは（月並みですが）メガネをかけるような感覚ではないでしょうか。すなわち、ちょっと風景が暗くなる、それだけで違和感を覚えてしまうのではないかということです。

なお、AppleはMRヘッドセットではなくARグラスにこだわっていたというリークがたびたび見られます。これが事実の場合、背景としてはMRには”シームレスさ”がないと判断された過去があったのではないかという妄想も出ていました。

Appleっぽいシームレスさ

整理すると、日常的でシームレスな起動として最低限満たしてきそうな要素とは、

• メガネケースに入れるかのように、デバイスをケースに入れて持ち歩き

• ケースから出した瞬間から、デバイスが自分の位置の推定を始め

• 掛けた時に、現実の映像と仮想コンテンツがMixされて投影され

• 現実の映像自体には”ほとんど”差分が見受けられない

辺りではないか、という話になりました。

プラスαのシームレスさ

それでは、ここにプラスαはあるのでしょうか。一つ挙げられたのが、iPhoneを起点とした体験が生まれるのでは、という点です。前編 ③で語ったFluid Interfaceの文脈で言うと、iPhoneを手帳やファンタジー世界の魔導書のようにみなし、そこから立体的にアプリやコンテンツが飛び出てくる、そんなイメージです。

実装の1つの方向性は、iPhoneをカメラから認識し、そこからコンテンツを呼び出すというものです。もう1つの方向性は、前編 ②の中で話したAirTagの技術を用いて、iPhoneの位置をトラッキングするものです。

予測会では、後者のAirTag技術を用いた方がよりシームレスという話が上がっています。背景としてハンドトラッキングの例ですが、カメラに映っていない時にトラッキングしないことで、どうしても体験が途切れる瞬間があるというのがこれまで開発してきた実感値として存在します。

逆に言うと、ポケットに入れたiPhoneを取り出す過程も、手帳/魔導書を取り出すかのように見做すことができれば、それはまさにシームレスな体験になるのではないでしょうか。

このプラスαの部分まで実現できるのは、iPhoneもヘッドセットも自前で開発しているAppleにしかできないことであり、他社との差別化として、そういった機能が備わっている可能性は十分にあり得るという話が挙がりました。

⑤ デジタルクラウンの使い道

シームレスにダイブする話の中で、デジタルクラウンについても触れました。

デジタルクラウンとは、Apple Watchに付いている竜頭型のコントローラのことです。予測会が着目した点は、”アナログ（＝連続的）”なスクロールでの操作も可能な点です。

ここまで「ゼロ学習」で操作できることを夢見ている予測会ですが、専用の新規操作手法を全く許容していない訳ではありません。事実、デジタルクラウンや旧iPhoneのホームボタン、AirPodsの音量調節スライダーなど、実例は枚挙にいとまがなく、むしろデバイスに新規操作手法が付くと考えています。

MRの呼び出し

では、”アナログ”な操作が可能なデジタルクラウンの使い道に何があるだろう、という話において、MRへのダイブが議論に上がりました。

後編 ④の中では、「掛けた時には、現実の映像と仮想のコンテンツがMixされた映像が投影される」ことをシームレスなダイブと話しましたが、「掛けた時は現実だが、そこからMRへとシームレスに変える」形式でも良いのではという議論も出ました。その際の操作としてデジタルクラウンを用いるというものです。

途中経過のイメージは、アイコンのみが表示される状態から、その中身まで深く見える状態に変わるなどが議論として上がりました。iPhoneを、ロック画面から上方向へスワイプしてあげる時を想像してもらえれば良いです。

デジタルクラウンを回しながら、平面からアプリ一覧が現れるでも良いですし、上からアプリ一覧が降ってくるでも構いません。昔懐かしのCover Flowのように、シンプルなスクロール機能として使うことも可能でしょう。

Siriの呼び出し

デジタルクラウンの”シームレスなダイブ”以外の使い道として、Siriが話題に上がりました。（正確には、Siriってどうなる？からの流れだったと記憶しています）

まず、アイトラッキングがヘッドセットに搭載されれば、ユーザーをサポートする情報の自動提示がされるという話題に上がりました。
言わば、Siriの自動化であり、ハードウェア化です。同時に、常にSiriに情報を提示して欲しい訳ではないので、SiriにもOn/Offが必要だろうという話があがり、その手法としてデジタルクラウンの話に戻ったという流れでした。

そもそも、現状のSiriはAppleの思想と合っているのかという点が予測会でも意見が分かれました。例えば、”Hey, Siri”という呼びかけにより、”デジタル（＝離散的）”にOn/Offをセットする手法は、AppleのFluid Interfaceの考え方と乖離があるように思えます。となると、デジタルクラウンによるスクロールで呼び出す手法は、相性が良い気がします。

なお、予測会で意見が統一できなかった箇所として、そもそもAppleがSiriのようなAIサポートに頼るのかという点でした。パラメータの細かいところまでこだわり、快適な体験を提供してきたAppleの中心にAIが居座るのかが、議論が分かれた点でした。MESONメンバーの中のAI大好き派とAI懐疑派で、何をAppleに期待するかが分かれた運びです。

いずれにせよ、デバイスに付くハードウェアのインターフェースとその使い道にも注目という話になりました。

⑥ 触覚フィードバックとしてのApple Watch

さて最後に、前編 ③の中で、本棚の背表紙をなぞるUIや紙をペラペラとめくるUIに触れました。しかし、こういった行動を実際に行ったとして、本当にその感覚を得ることができるのでしょうか。

もし良ければ、空中に指で文字を書く動作と手のひらに指で文字を書く動作を試して欲しいのですが、後者の方がやりやすいことが分かるかと思います。反発する力が指にかかることで、実際に文字を書いている感覚が増すわけです。

では、Appleヘッドセットでこのような感覚を与えることができるのか、です。簡単な方法としては、Apple Pencil x iPhoneやMagic Trackpadを使用するといった手段があり得ます。しかし、せっかく妄想を膨らませるのであれば、ハンドトラッキング（＝手ぶらの状態）に対応する方法を考えようと、予測会では話に上がりました。

クロスモーダル現象

まず参考とするサービスとして、MetaのHorizon Workroomsが挙げられます。これはコントローラをペンのように持ち、空中でホワイトボードに書くかのように文字を書くことができます。この時、振動により設置面を感じることができます。

この背景にはクロスモーダルという現象が存在します。人間は、五感それぞれの感覚を区別して感じるのではなく、複数の感覚がお互い影響しあっていて、脳の中で補完して認知・解釈しています。例えば、緑色のシロップがかかったかき氷からメロン味がするように、視覚の情報が味覚に影響するというものです。

「クロスモーダルインターフェース」映像情報メディア学会誌 Vol.72 No.1 より

基本的には、人間は視覚優位であるため、視覚の体験に引き摺られることが多いとされています。そしてこれは、視覚と触覚の間にも発生します。ホワイトボードを触ったという視覚提示があることで、コントローラの振動があたかもホワイトボードを触ったかのように感じさせることができるわけです。ちなみに予測会の後に調べていたのですが、2013年の論文で、実際に振動がなくても視覚提示だけで僅かではあるものの、力が掛かったように感じるという研究もあるようです。

「シースルー型HMD を用いた微触感錯覚の呈示と評価」TVRSJ Vol.18 No .2より

こういった経緯も含め、手ぶらの状態で触覚的なフィードバックを与える方法として、振動機能が上がりました。同梱されているデバイスとして指輪があったら面白いねという話も上がりましたが、Apple Watchで出来ないかという議論になりました。Apple Watchの振動パターンはいくつかあるため、これはヘッドセットに向けた機能なのではという形です。

予測会後に調べていたのですが、調査した中で、Apple Watchのように手首付近で振動を与えることで、指に疑似的な触覚フィードバックを与えるという論文は見つかりませんでした。ただ筆者の友人に聞いたところ、腱をピンポイントで刺激することができれば、十分に可能性はありそうとのことでした。

どこまでのユースケースに応用できるかは、予測会では全く判断ができませんでしたが、期待が広がるばかりです。

ハンドトラッキングとしてのApple Watch

なお章タイトルとはズレる話もApple Watchについては出ました。言ってしまえば、妄想④の中でも語った、カメラに頼らないハンドトラッキングです。現在、Apple Watchは手を握ることで、それを検知することでページ送りを実施することができます。技術発展が必要ですが、手の姿勢をカメラの検知範囲外で取ることができれば、手を快適なUIとして利用できるという話も上がっていました。

最終的なイメージ

ちなみに、ここまでの妄想をまとめると、ヘッドセットを装着しながらApple Watchを腕に巻いて、Air Podsをつけて持ち物にAirTagを貼りまくって、そして勿論iPhoneを使っている、というユーザーイメージになります。

妄想にしてもやり過ぎ感がありますが、既存プロダクトを活用しまくれば、MESONがこれまで実感しているグラスの課題を解決しうる話になりました。

6月6日のWWDCにて
「これまでの全てはこのヘッドセットのためにあった！」
そんな発表が実際にされるかもしれませんね。

終わりに

前後編の長文の妄想にお付き合いいただき、誠にありがとうございました。

5/8の予測会の時はノリノリだったのですが、その後のリーク記事にて、Appleの中でも賛否が分かれているだの、iPadのアプリが使えるらしいだの、ワクワクする情報が全然出てこなくて、徐々に不安になっているが筆者の本音です。

あとMeta Quest3の情報が突然出てきて、この記事どころじゃなくなってるというのもあります。

ただ、前編の締めと重複しますが、ARやMRをメインで扱っている会社に居る人々の、Appleヘッドセットへの熱量が少しでも伝われば、という想いです！

また個人的には、今回の予測会は全体を満遍なく議論したため、具体のイメージにまで入り込めなかったなぁという気持ちと、MRを通じたアナログ回帰（の中のFluid Interface）に注力して思索したい気持ちがあるので、どこかでそういう議論ができたらと思っています。

というわけで、Appleヘッドセットがイケていたら「実際に触ってFluid Interfaceを探してみたの会」で、全くイケてなかったりローンチが遠かったりしたら「勝手にFluid Interfaceを妄想してみたの会」でお会いしましょう！

ありがとうございました。