こんにちは！
株式会社シンテックホズミ　XR推進グループの水野です。

前回の投稿から1ヶ月近く空いてしまいました。
前回、ロケーションベースAR的なのものをやると予告していましたが、都合によりまだ取り掛かれていないため、今回は、XR素人だった私が、約4年ほどXR開発に触れてきて、私なりの理解でのXR技術についての紹介をしてみようかと思います。

今さら感もありますが、XR推進グループという部署のある弊社でも、VRやARの理解が曖昧な人がけっこういるなーと思ったのと、現状の自分の理解を整理してアウトプットしておこうと思ったのが、今回のテーマにしたキッカケです。

XRの分類

WikipediaでXRを調べると以下の様に記載されています。

XR（Cross RialityまたはExtended Reality）とは、現実世界と仮想世界を融合することで、現実にはないものを知覚することができる技術の総称である。そのため、「VR(仮想現実)」「AR(拡張現実)」「MR(複合現実)」「SR(代替現実)」といった仮想世界と現実を融合させる画像処理技術はいずれもXRに含まれる。

ここだけ見ると、VR/AR/MR/SRがすべて別々のモノのように感じますが、私の認識では、VRとARの中にSR、MR、DRがあり、VR、ARでやっていることや、使う技術によって細かくカテゴライズされているイメージです。
（しれっとDRというものが増えましたが、順番に説明していきます）

VR/AR/MRの特徴（見え方）

まずは、XRの中ではメジャーなVR、AR、MRの特徴ですが、触れたことのある人が多そうなポケモンGOを例に説明してみようと思います。
VR、AR、MRを作るときには図②のような素材が必要になります。

AR/MRは、現実に在るものに対して表示したい素材だけを用意すればいいですが、VRは背景も含めて表示したいものをすべて用意する必要があるため、素材作りの面ではVRの方が手間がかかります。

この用意した素材をVR/AR/MRで同じように配置した場合に、それぞれどう見えるかを図③に表してみました。（わかり辛かったらスミマセン）

"VR"と"AR/MR"の違い

"VR"と"AR/MR"の違いを雑に言ってしまうと"現実空間と隔離された空間かどうか"です。
一般的なVRは、CGや360°画像により背景まですべて覆われており、バーチャル空間をベースに何かをすることになりますが、AR/MRは現実に対して部分的にCGを表示し、現実空間をベースに何かをすることになります。

"AR"と"MR"の違い（技術的な分類）

次に、混乱する人が一番多そうな"AR"と"MR"の違いについてですが、以下の内容は私の個人的な解釈が多分に含まれているため、参考程度に読んでいただけると幸いです。（余計に混乱させてしまったらスミマセン）

昨今では、わざわざARとMRを区別して言う必要はないと思っていますが、あえて区別するとしたら、技術的な視点と商標的な視点での分類があると私は思っています。
まず、技術的な違いを説明すると、"空間認識をしているかどうか"です。
ARは現実空間にCGなどの情報を表示しますが、一般的なARでは、現実空間の在る物などの状態を認識はしておらず、使用デバイスからの相対距離で表示位置が決まります。
対してMRは、センサーや画像認識などにより、現実に物が在ることを認識して、認識した物の簡易的なポリゴン形状を作成することで、認識した物より後ろに在るCGを隠したり、認識した物からの相対距離でCGを表示するなど、現実の情報でバーチャルに影響を与えることができます。

"AR"と"MR"の違い（商標的な分類）

次に商標的な分類と言うのが、"MicrosoftのMRデバイスを使っているかどうか"です。
ちなみに、商標的な分類と表していますが、Microsoftが"MR"や"MixedRiality"という商標を取っているわけではなく、他に言葉が思い付かなかったので商標的な分類としています。

このように認識している理由を簡単に説明すると、空間認識が使えるAR技術を開発している超大企業3社のGoogle、Apple、Microsoftの中でMRという言葉を推しているのがMicrosoftだけだからです。

まず、MRと言う言葉がポツポツと認知され始めたのは、2015年にMicrosoftがMRデバイスのHoloLensを発表した頃からで(MRの概念自体は1994年にすでに存在していたらしです)、初代HoloLens発売当時は唯一の空間認識ができるデバイスでした。
その後、GoogleやAppleがリリースしているAR開発プラットフォームのARCoreやARKitにも画像認識による空間認識機能が追加され、スマホやタブレットでも簡単に空間認識ができるようになり、iPhone、iPadにいたっては、LiDARセンサーが搭載されたモデルも出たことで、HoloLensと同様の形式での空間認識ができるようになりました。
しかし、ARCoreやARKitでの開発時にドキュメントを読んでいても、MRという言葉はなくARで統一されています。（すべて読んでいるわけではないので、見落としとてたらスミマセン）
そのため、MicrosoftがHoloLensを発売した時に、ブランディングのために意図的にMRと言う言葉を広めたのでは？と思っており、技術的にARとMRを分類するのはややこしいので、"HoloLensコンテンツでのAR = MR"、"それ以外のAR = AR"という考え方に至りました。
※これはこれでややこしい話なので、お客様などにARとMRの違いを説明する時には、技術的な分類の方で説明しています。

"AR"と"MR"の違いがわかりにくいのはなぜ？

技術的な分類でARとMRの違いは"空間認識をしているかどうか"と言いましたが、実は、"オクルージョン"という仕組みを使うことで、空間認識をしなくてもMRっぽく見せることができます。
ARとMRの違いがわかりにくいのは、これが一番の原因かなと個人的に思っています。

オクルージョンを簡単に説明すると、CGオブジェクト同士が重なって見える場合に、手前のオブジェクトで後ろのオブジェクトを隠すことです。
空間認識をせずにオクルージョンを使ってMRっぽく見せるのは、ARの表示位置合わせがとても手間だったりもするので、最近は見なくなりましたが、過去に行った展示会などでそれらしいデモコンテンツをいくつか見たことがあります。（展示会のような場では空間認識が安定しないこともあるので、デモ用コンテンツなら、チカラ技で位置合わせする方が良い場合もあったりします）

"AR"と"MR"の区別を無理にする必要はない！

ARとMRの説明の序盤にも書きましたが、昨今であれば、無理に区別する必要はなくどちらも"AR"と思っていても特に差し支えないと思います。

"SR"と"DR"とは

まず、SR（代替現実）についてですが、私はSRを実際に体験したことがないので、私の理解での説明になります。
例えばVRを使用する場合、VRを使用するユーザーは「自分は今VRのコンテンツを見ている」と認識したうえで使用しています。ARとMRの場合も同様です。
SRでは、現実とバーチャルの情報を巧みに合成することで、ユーザーに今見えているものが現実とバーチャルのどちらなのかを認識できなくする技術（らしい）です。
イメージつかない場合は、MARVEL映画のスパイダーマン ファー・フロム・ホームを見ると、SRを使ったトリックが出てくるのでわかりやすいと思います。
映画やアニメの中などではたまに見る技術ですが、現状では脳科学の研究に使われているものらしいので、現実で一般に使われることは当分ないかもしれません。

次にDR（減損現実、隠消現実）ですが、簡単に言うと、AR技術で現実の物を隠す技術です。本来ARは、現実に情報を追加するのに使われますが、同じ技術で逆のことをやっているイメージです。（スパイ映画で防犯カメラ映像を加工してスパイが映らなくなるやつのAR版といった感じです）
簡単にやる方法としては、iPhoneなどで空間を3Dスキャンし、スキャンしたデータの中から、AR上では消したい部分を削除し、削除した部分を穴埋めしたデータをAR表示すると、現実に在る物がAR上では消えたように見えます。
高度なものだと、画像認識で物体を認識して、認識した物のテクスチャを周囲の背景と同化させることで、消えたように見えるもなどもあります。

まとめ

XR技術は使っていて楽しいですが、ここ2～3年の進化が早すぎて、情報を追うのが大変です。
現状では、DRやSRに触れる機会はなかなかないと思われるので、VRとARの違いが分かっていれば十分だと思います。

今回は私の理解の整理と言うことで、私なりの解釈を踏まえて、XRについての説明をしてみましたが、いかがだったでしょうか？
XRに興味のある方などの理解の役に立てていれば幸いです。
今回ご紹介した内容で興味のあることや、ご不明な点などあれば、noteのDM、または、下記お問い合わせフォームからお気軽にご連絡ください。

お問い合わせフォーム

そして次回こそロケーションベースARをやるかと思いきや、またまたメタバースの予感です。
もし興味ありましたら、フォローよろしくお願いいたします。