はじめに

昨年、AR時代において重要になってくる概念「ARCloud」について以下の記事でまとめました。

それから一年経ち状況も変化しているので、改めて内容を更新し、まとめたいと思います。

ARCloudとは？

ARCloudとは、現実世界に紐付くデータから3次元マップ情報をクラウド上に保存したものを指します。

上の画像は現実に紐付いた三次元情報を持つ特徴点と呼ばれる点の集まりで、それらをpoint cloud（点群）と言います。そのpoint cloudをクラウド上に保持したものがARCloudというものです。

ARCloudは何故必要なのか？

2017年にAppleからARKit,GoogleからARCoreといったAR開発プラットフォームが立て続けにリリースされました。それらの影響も受け、現在では数多くのARアプリがリリースされています。

しかし、それらの殆どが、ソーシャル性が無く、シングルプレイヤーでのAR体験が主流になっています。この現状はインターネット普及以前のパソコンで友達のいないネットをサーフィンするようなものだと直喩されることもあります。

パソコンが一般的に普及したのはインターネットによりソーシャルな体験が可能になったからです。ARもそれと同様にマルチプレイヤーによる干渉や共同作業が可能でソーシャルなAR体験が必要であると考えられています。それを実現させる為のコアな技術がARCloudという訳です。

ARCloudの構成要素

Super VenturesのOri Inbar氏は以下の3つの機能で構成される基礎技術がARCloudであると提唱しています。

1.A scalable shareable point cloud                                                                               実世界の座標に紐付く、永続的且つ共有可能な点群

2.An instant ubiquitous localizer                                                                            複数のデバイスが瞬時且つ正確に点群の絶対位置を把握（ローカライズ）出来る機能

3.Realtime multiiser interaction                                                                             オブジェクトをリアルタイム且つインタラクティブに共有出来る機能      

ARCloudをどのように構築するのか？ 

SLAMとは？

ARCloudを構築する際コアとなる技術がSLAMと呼ばれるものです。
SLAMとはSimultaneous Localization And Mappingの略で、その名の通り自己位置推定と環境地図作成を同時に行う技術のことを指します。

こちらは、Visual SLAMですが、緑が環境地図で、青が自己位置になっています。こちらをリアルタイムに作っていくことがイメージです。

ARCloudを構築する為には環境の三次元情報を取得し、3Dマップ構築を行う必要があります。

大きく分けると、画像ベースのインプットでSLAMを行う Visual SLAMと、光センサベースのインプットでSLAMを行う LiDAR SLAMがあります。LiDARセンサーは、大きく高価なものが多いので、LiDAR SLAMは、自動運転のような大きなハードウェアに利用され、Visual SLAMはスマホやドローンなど小さなハードウェアに利用されることが多くなります。

3つのARCloud構築アプローチ

1.事前スキャン　　　　　　　　　　　　　　　　　　　　　　　　　　　　

LiDAR SLAMという技術を使い、事前に精緻なARCloudを作成します。それを画像認識し、自己位置推定を行うというアプローチです。

比較的制度が高いという優位性はありますが、事前にLiDARを使い3Dモデルを作成しなければならないので、その分コストが高いという課題もあります。

2.Edge SLAM

スマートフォンのデバイス上でリアルタイムにSLAM処理を行い、Edgeで3Dメッシュを作成するというアプローチです。

Semantic Segmentationを行った後にEdge上で3Dメッシュ化の処理を行うことでプライバシーが担保出来るというのが優位性の1つです。

3.衛星情報

SLAMと衛星情報を組み合わせ、自己位置推定を行うというアプローチです。

衛星画像を元に自己位置推定を行うので、事前スキャンが必要無く、いつでもその場で出来るのが強みの1つです。

ARCloudの課題

データ収集問題

データ収集は大きく分けてライダーベース、ビジュアルベース、2つの手法があります。それぞれ例を挙げると、前者は車を走らせLiDAR SLAMを使い、主に屋外のデータを収集し、後者はARアプリ経由でVisual SLAMを使い、主に屋内のデータを収集するといった感じです。

しかし、現在LiDAR SLAMとVisual SLAMには互換性が無く汎用出来ないという課題があります。

また、ARアプリ経由でのデータ収集にも課題があります。

ARアプリ経由というのはつまり、ユーザーにアップロードしてもらうということです。上記の「ARCloudは何故必要なのか？」でも触れた様に、ARアプリを一般普及させる為にはソーシャルな体験が必要です。

そこでソーシャルな体験を可能にする為にはARCloudが必要になるのですが、ARCloudを構築する為のデータ収集にはARアプリの普及が必要になってくるというニワトリとタマゴ問題が生じているのです。

プライバシー問題

ARCloudを構築する為のデータ収集を行う際、カメラから撮影した画像データをそのままクラウドにアップロードし、そこでセマンティックな処理を行い、3Dメッシュ化するとクラウド上に不特定多数の人の顔の情報が残ってしまい、プライバシーの問題が生じてしまいます。

しかし、その問題を解決するアプローチがEdge SLAMです。

それらの処理をEdge上で行い、完全にスクレイピングされた3Dメッシュ化されたものだけをクラウド上にアップロードするという手法を取ることによってプライバシーを担保することが出来るのです。

デジタルレイヤーの権利問題

ARCloudを構築していく際、デジタルレイヤーを制作します。そこで、そのデジタルレイヤーの権利はフィジカルなオーナー（建物の所有者など）に帰属するのか、若しくはデジタルレイヤーを制作したクリエイターに帰属するのかという問題が生じます。

この議論の結論は出ていませんが、参考になる事例として、SONYとタイムズスクエアの裁判の判決が挙げられます。

SONYがスパイダーマンの映画を制作する際、タイムズスクエアをCGで再現し、そこにSONYは現実とは違う特定の企業の広告を表示して映画を放映しました。タイムズスクエアは権利の侵害を訴え裁判が行われましたが、最終的にはSONYが勝訴しました。つまり、デジタルレイヤーとその元になるフィジカルな物の権利は分離していると考えられます。

注目のARCloudスタートアップ

Resonai 

Scape Technologies

2016年に設立されたロンドンのスタートアップ。都市環境におけるセンチメートル単位での精度を有するVPS（Visual Positioning Service）の開発を進めている。現在はロンドンのみで動作。2019年1月に800万ドルの資金調達を行った。

6D.AI

オックスフォード大学のActive Vision Labから2017年に生まれたスタートアップ。スマホのカメラ画像から3次元空間情報が解析出来るARのSDKを提供している。（デバイス上でリアルタイムにSLAM処理をしてEdge上で3Dメッシュを作成するというアプローチ）

オブジェクトの手前などに物体が来た時に、描画をオフにする技術オクルージョンカリングに対応。ARKitやARCoreといった既存のSDKではまだサポートされていない技術だが、6D.AIはその課題を解決している。

2018年1月に金額未公開のシード資金調達を行った。

youAR

sturfee

2015年に設立されたアメリカのスタートアップ。SLAMと衛星情報から自己位置推定を行えるSDKを提供。

KDDIと戦略的パートナーシップを締結し、日本における3Dマップの生成、共同開発と実証実験を行っている。

総額270万ドルのシード資金調達を行っている。

Blue Vision Labs

2016年に設立されたロンドンのスタートアップ。シティスケールのARCloud技術を開発しており、ロンドンなどの世界3都市での利用が可能なSDKを公開していた。

アメリカのカーシェアリング配車サービスお手掛けるLyftに7200万ドルで買収された。レベル5の自動運転に向けてBlue Visionの3DマップやAR空間共有の技術を活用していく方針。

ubiquity6