お久しぶりです。morioです。
社会人です。

最近ふとしたところでNAISTの加藤先生とご一緒の場に存在する機会がありまして、ふと思い立って去年に受けたセミナーのレポートを読み返していました。
あの加藤先生ですよ。ARToolkitの加藤先生です。
先日のVR学会大会でARToolkit20周年記念講演をされたそうです（聞きたかった・・・）

改めて自分のメモを読んでみると非常に知見にあふれた良いセミナーでしたので勘所を共有したいと思います。
参加できなかった方、是非ともご参照ください。
写真投稿はNGだった（っぽい）のでテキストでなんとか伝えてみます。

■参加セミナー

2018年9月14日 AR技術講座～ARの今と未来がわかる会～＠アカツキ

■登壇タイトル

奈良先端科学技術大学院大学 加藤博一教授
『拡張現実感の現状と今後の展開』

■1．拡張現実感とはどんな技術か。

・ARはまだまだ発展途上の技術。
　妄想のARを目指して技術開発しているが、まだ改善は必要。
・日本での嚆矢はエムアールシステム研究所。キヤノンと通産省が一緒につくったやつ。ビルの3D設計図をみんなで見ているようなシナリオ。
　→HoloLensはだいたいこのところまで来ているのでは。まだサイズは少し大きいけど。

　※動画は見つかりませんでしたが、下記のリンク先あたりが近そうです。

・人間の現実世界での活動を支援するのがそもそものARの目的。
　組み立て作業支援、保守点検作業支援、手術支援など。
　大事なのは人間を支援すること。仮想物体の表示自体は手段。
　例えば建物の名前を知りたいという場合、現実の世界にラベルをつけて建物の名前がわかればいい。
このとき、ラベル自体が無理に自然に溶け込む必要はない。

＜なぜARなのか＞
・ARが産まれたのは1992年のボーイング社の研究（産業界）
・狙いは、
　- エラーの低減
　- 効率の向上
　- 訓練期間の削減
・マニュアルを見ながらの作業
　１．マニュアルを見て、作業内容を理解する
　２．作業対象を見て、理解した作業内容から実際の作業行動計画を立てる
　　※作業対象とマニュアル内容の照らし合わせが重要
　３．作業対象に対して作業を実行する
　４．マニュアル通りにできたかを確認する

　この流れの中で、マニュアルを見て作業内容を理解して作業する、それを現実とマニュアルで照らし合わせるというのは人間にとって大変な作業。
　こういったシチュエーションにおいて、作業内容とマニュアル内容の照らし合わせが重要。
　→ミスはどこで起きるのか。
　　作業を間違えるよりも、作業前に部品の照らし合わせが間違っていることが多い。
　　　→ARを使うことで、どの部品をどこに入れるかというのを明示してあげると、照らし合わせの作業が不要になる。

＜視覚情報による作業支援＞
・従来法（説明書の利用）
　１．説明書の情報を理解する
　２．その情報の対象個所を見つける
　３．対象個所にその情報をマッピングする
　４．その情報の実際の意味を理解する

・ARの利用
　１．表示されている情報の意味を理解する
→従来法の１～３をスキップできる。その部分で起こりうるエラーを回避できる。

＜ARの本質は情報と現実世界の間の関係を築くこと＞
　現実とバーチャルに関係がないと、ARのメリットがない。
　そうすると、ポケモンGoはどうなのか。CGと実世界の関係が弱いかも？

＜サイエンスVSエンジニアリング＞
　　１．科学的動機→完璧なAR環境の実現。使う人のことよりも、自分自身の動機で研究する。
　　２．工学的な動機→物理的作業を支援することが目的で、完璧なAR環境を作ることが目的ではない。重要なのはどれだけ作業者を支援できるか。

＜ARの応用分野＞
・組み立て作業・保守点検作業支援
・設備管理　
・医療
・カーナビゲーション
・設計支援　CADからクレーモデルを作るとき、例えば動く部分だけはARでやる、とか。
※AudiのHoloLens事例が近いかもしれません。

・インテリア
・観光　史跡の昔の様子をARで見せるような。
・スポーツ放送 水泳のレコードタイムをライン引いて見せたり。
・スポーツ（上記のスポーツ放送とは別）足の接地の力のベクトルの可視化。センシングはトラックの下にセンサーを敷き詰めてやってる
・教育、エンターテインメント

＜ARの原理＞
・表示デバイス
・コンピュータグラフィックス技術
・センシング技術（CV）
・インタラクション技術
によって実現される。

＜AR実現のための要件＞
・幾何学的整合性
　仮想物体を現実世界の中に幾何学的に矛盾のないように表示する
　（形の計算）
・光学的整合性
　仮想物体を現実世界の中に光学的に矛盾のないように表示する
　（色の計算）
・時間的整合性
　表示までの遅延をなくす

CGを表示する際、①形の計算　②色の計算　の２つの計算をしている。

一番研究されているのは幾何学的整合性。
光学的整合性は、エンジニアリング的に考えると割とどっちでもいいようなケースもある。
例えば作業のための矢印が何色だろうが、あまり作業には関係ない、など。
時間的整合性について、HoloLensは時間の遅れがわからないところまで完成度が上がっていて、すごいと思ったとのこと。

ワールドカップの誘致のための動画がYoutubeにあるが、そこでは光学シースルーのハンドヘルドARデバイスが出てくる。
これは実質的に困難では？
　→なぜできないか。
　　使用者に見えるようにすると、風景と仮想物体に同時には焦点が合わない。
　　例えば車のフロントガラスに字を書いたら危ない。
　　字に焦点をあてると風景が見えなくなるし、
　　風景に焦点を当てると字が見えなくなる。
　　運転しながらそれを見ると事故る。
　　表示することは可能かもしれないが、それを見ている人間が
　　正しく認識できるかは別の問題か。

＜方式の比較＞
・理想は光学式シースルーだが、デバイスが未成熟
・ビデオシースルーは日常的に使用できるデバイスではない
・ビデオモニター方式は既存デバイスで実現できるのだが、手が塞がるのが難点
　とはいえ、ハンドヘルドも今は場合によっては有効。
　最近の仕事はだいたいが現実に対して仕事したとしても、コンピュータへの入力が入る。
　作業終わりのチェックリストなど。
　HMDだったら入力ができない（非常に困難）。だったらスマホでやるしかないか、という話になる。
　で、どうせコンピュータに対して入力するのだったら、HMDではなくタブレットというのも選択肢になる。
　HMDで音声できちんと入力できるのなら、それがいいかもしれない。

■2．どのような研究が行われ、何ができるようになったか。

・センシングの研究はかなりやられてきている。GPSや画像処理、SLAM（PTAMも）。PTAMは画期的な技術だった。
・三次元環境モデルの構築
　KINECTもここ。
・CG関連
　- リアルタイムでの写実的CG　
　　　細かくやろうとすると照明環境の認識をしないとリアルにならない
　　　影をセンサーで取るとどれくらいの照明環境かがわかったりする。
　- わかりやすく表現する技術
　　　地中にある土管を表示して見せてあげる、など。だけど、実際には空中に浮いているように見えてしまってうまく表現できないということもありうる。
　　　横断歩道の下に隠れているように表示してあげることで、地中に埋まっているように見せる。
　- 物体を消す技術　
　　　NAIST河合先生のDRの例。
　　　→DRは何に使えるのか？
　　　　→野球場のフェンス裏にいくとフェンスが邪魔。フェンスを消すとか。観光地に人がいっぱいいて見えないとかのときに客を消して見えるようにしてあげるとか。A社の提供番組のなかでB社のロゴを全部消してあげる、とか。
　　　→DRは大きく2種類ある。Inpainting（画像修復）でそれなりに見せるのと、実際の向こう側を撮って裏を見せてあげるのと。
　　　　見通しの悪い交差点で壁の向こうの歩行者を透けて見せてあげるという使い方は後者。

　　※DR(Diminished Reality)についてはこの資料がわかりやすいかもしれません。

こちらの方は10月のSIG-MRでもDRについて発表されるそうです。

＜ARの現状＞
・現状のソフトウェア技術はかなり完成度の高い水準にある
・技術的専門知識のない開発者でも容易に高品質な拡張現実感アプリを作れるようになった
・ゲームや観光サービスなど日常生活支援向けの応用アプリケーションは数多く登場するようになった

■3．残されている課題は何か。

＜小型軽量高視野角高画質HMD＞
Holoはすごくいいんだけど、視野角が狭い。
HMDに本当に求められている性能と現在実現できる性能に大きなギャップがある。
※2019年になった今はHolo2に期待したいところですね。

VAC（輻輳調節矛盾）の解消もまだ実現できていない。

Vergence（バージェンス）　輻輳
Accommodation（アコモデーション）　焦点調節
Conflict（コンフリクト）　競合

輻輳と調節は通常、連動している。
HMDをかけると、そんな近くには焦点合わないので、虚像を何メートルか先に見えるようにしている。
これはメーカーの設計値で、2メートル先、とか3メートル先、とか決めている。
そのため、焦点距離はその2メートルとかに合う。ただし、立体視するために輻輳は普通に動く。
そんなことを人間にさせると疲れるというのが通常の課題であり、それを解決するための研究はされてきているが、サイズがでかくなってしまう、という課題。

こちらも参考に。

＜幾何学的整合性技術の高度化、高精度化＞
・外科手術支援などへの応用に対しては、まだ精度や信頼性が不足している
・グローバル座標系に対するトラッキング技術は成熟してきたが、物体トラッキングはまだできないことが多い。
　例えばネットワークスイッチに接続された1本1本のLANケーブルの認識。
　ロープをきちんと結ぶような作業を支援する場合、どうやって実現するのか。

＜産業向けAR,特定用途向けAR＞
・コンテンツ作成技術
　- 幅広い普及には、コンテンツを安価で容易に短時間で作成できるようにならないといけない。
　　今まで取扱説明書を作っていた部隊にARで取扱説明書を作れといっても無理だろう。取説PDFをインプットしたらARにしてくれるのとかあったら便利だろうと前から思っていた。
　- 実現できる範囲内で質のよいARコンテンツを作成するためのノウハウの体系化
　　例えばロープを結ぶような作業をどうやってCGで出してあげるのか。
　　今までのARのデモは「このスイッチを押せ」とか「ここにケーブルをさせ」とか単純なものばっかり。そんなものはわざわざARにしなくてもいい。
　　本当に支援すべき作業はなんなのか、そのコンテンツを作るためのノウハウは何か。

＜日常生活向け汎用AR＞
・一般物体認識技術　AI連携
　日常的に作業支援したいなら、コンピュータのほうが人間よりかしこくないといけない
・コンテキスト認識技術
　- 「寿司」なのか、「マグロ」なのか、「赤身」なのか。
　　同じものを見ても人間なら違う答えを出す。状況をくみ取れることが望ましい。
・HMD型AR用の革新的ユーザインタフェース
　- 人間の実世界とのマルチモーダルな（音声、ジェスチャー）インタラクションを認識、活用できるインタフェース
　　人間がHMDに命令するときにも、わざわざ現実世界に存在しないコマンドやジェスチャーなどはできればしたくない。
　　現状のHoloLensはジェスチャーも実環境を無視した命令でしかない。
　　例えば「これいくら？」っていって指さしたらそれを勝手に答え出してくれるのが、実世界を理解したインタフェース。
・生活アシスタントとしてのシステム設計
　- ARだけでシステムを考えるのではなく、音声インタフェースやハンドヘルドを統合した全体システムの中で、ARを１つの表示技術として位置づけるべき。
　　「ARを使ったすごいことできる」というのではなく、ARじゃなくてもいいことがあるので手段を目的化しないこと。

■4．将来展望

＜汎用的な支援システムに向けて＞
・人間より賢くなければ、人間を支援できない
・人工知能との結合

＜ARは便利な道具ではあるが＞
・誰が必要とするのか
・子供には不要？
・高齢者の衰えた能力の補完機能として

■最後に

ARとは何か、どんな研究が行われ、残っている課題は何か、将来の展望といった「ARの今」を知るために非常に効果的なセミナーでした。
一年前のセミナーですが、その間にも大きな課題認識の違いや飛躍的に向上したデバイス面の改善は無かったかなと思いますので、情報鮮度としては陳腐化していないと考えています。
ビジネスとしてARに取り組んでいる立場としては、そもそもの目的であったという
「人間の現実世界での活動を支援する」
という言葉が身に沁みます。
また、toB向けのビジネスとしてARに取り組む人間として、工学的動機のほうを重視すべきだよな、と改めて思いました。
この原点を忘れずにこれからも自分や自社に何が提供できるかを考えていきます。

当日の様子がまとめてありました。
ツイートは少なめ。

では、みなさんも良いARライフを。
またどこかでお会いしましょう。