VRのための研究をしたい人へ 〜VR研究分野マップ〜

どうも、ゆうのLv3(Twitter)です。自己紹介は記事末尾に書いてあります。

センター試験お疲れ様でした。VRに興味のある高校生、大学生に向けて、進路選択の一助となればと思って筆をとった次第。この記事では、VR技術の水平を押し広げてくれる日本のあなたへ、VRの研究分野のマップをお届けします。

あと、「研究分野は分かったけど、どこの大学に行ったらいいのだ!」という人のために、VRの研究をしている研究室がある大学を片っ端からリストアップしておきました。(絶対漏れがあるのでTwitterとかで教えてください)以下を参考にしてください。

VRの研究ができそうな大学片っ端からリスト

こちらも参考になります。

実はちょっと前に、東大生向けに「東大のVRを扱う研究室リスト」を作ったんですよね。併せて「日本のVR研究者を全部ぶち込んだScrapbox」も作ろうと画策してたんですけど、これは挫折中w。いつか気が向いたら更新します。reseachmapを見た方が早そう。

***

さて、

「VRの研究がしたいです!」

と一口に言っても、進路選択は捗りません。これは「コンピュータの研究がしたいです!」といっているような感じで、焦点が定まっていないために着地ができません。
コンピュータの研究ってお前……ネットワーク?ソフトウェア?アルゴリズム?人工知能?インターフェース?電子回路?ハードウェア?なに?どれ?ってなるじゃないですか。

進路選択にあたって、まずはVRを為すのに必要な要素を知り、それらのどこをどのように探求したいのか、自分の興味に問いかけてみましょう。

バーチャルリアリティとは

ソードアート・オンライン見ました?レディ・プレイヤー1は?ああいったSF的世界の実現を憧憬するみなさんこんにちは。最初に言っておくと、この記事では、脳科学の文脈における話は(研究がまだ進んでいないので)あんまり多くないです。現状のVR研究の姿をご覧ください。

バーチャルリアリティを日本語訳すると人工現実感です。つまり「VRの研究」には人工的に現実を作るために必要な全ての研究が含まれています。

ところで、あなたにとっての現実って何ですか?

人の手を握った時の触感、食後のコーヒーの香り、思い出を振り返った懐かしさ、映画を観た後の感動、仕事が嫌だなあというネガティブな気持ち、一緒に話している友達の存在感、崖から落ちそうな恐怖感……etc。

人間は、全身の感覚センサから受け取った情報を、脳で統合することで世界を認識しています。感覚の統合によって立ち現れる森羅万象、それが現実です(少なくともバーチャルリアリティ学ではそう言った立場をとります)。

森羅万象を研究せねばならないとなれば、VRの研究のなんと広大なことか。そこで学問としては、バーチャルリアリティを「三次元の空間性を持ったインタラクティブな没入体験を、計算機を用いて構築する技術」としています。ヘッドマウントディスプレイを被るばかりが、視覚ばかりがバーチャルリアリティを為し得るものではないんです。

VR・AR・MRの定義については、ここに書くと長いのでまた別の記事で。
本記事ではVRの研究を、上の定義に従いつつ、AR・MRも包含して少し広く捉えていると思ってください。

VRってどうやって作られるの?

図は「バーチャルリアリティ学」より。

VRは

・人間が何か情報(動き、声、生体データ、ボタン操作など)を入力すると
・それに合わせて環境がどう変化するかコンピュータが計算を行い
・人間の五感センサや脳にその感覚(計算結果得られた刺激)を提示する

という三つの要素によって構成されています。
この三要素それぞれを(あるいはそれぞれの組み合わせを)どのように実現するか?というのを考えるのかVRの研究です。

VRの研究の分類

VRの研究、いろんな分類の仕方があると思いますが、今回は「その研究がVRの構成要素のどこを担っているか」に注目して、7つに分類してみました。読者各位がどういう立場からVR研究に関わっていきたいのか考えたり、自身のVRに関するビジョンのために尽力すべき研究分野がどこなのかを俯瞰しやすいと思ったからです。7つの研究分野全部が頑張ることで、究極のディスプレイが実現するといった具合になります。

赤 (1)出力システム(ディスプレイ)
橙 (2)入力システム
桃 (3)シミュレーションシステム
黄 (4)システム全体
黄緑(5)ユーザとシステムのインターフェース
緑 (6)ユーザ
青 (7)VRという概念、存在、その応用

もちろん、分野横断的に行われているために綺麗に分類ができない(素敵な)研究もたくさんあります。けどまあざっくりとした研究分野のイメージを掴むため、ということで便宜的にこれで行きます。もっといい分類があったらコメントでアドバイスください。

ここからは(1)〜(7)のそれぞれで、どのような研究が行われているのか、具体的な研究プロジェクトの例を添えて紹介していきます。

※ この記事では研究室ベースの紹介はしておらず、紹介する研究はあくまでも分野の一例として取り上げています。つまり(1)で紹介された研究室が(1)以外の研究も行っている場合が多々ありますし、ここには挙がって無い素敵な研究、研究室もたくさんあります。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(1)出力システム(ディスプレイ)

VRはヘッドマウントディスプレイだけじゃないよ。
人間の感覚センサ(五感や前庭感覚など)にどんな刺激を・どんな方法(どんなデバイス)で提示すればリアリティを作れるか?必ずしも原物の物理現象を正確にシミュレーションする必要はない。感覚のリアリティのみならず、デバイス装着の快適さ、生活に馴染むかどうかなども考える。また味覚や嗅覚などは、そもそもどのようにすれば感覚刺激をうまく提示できるのか、から研究する必要がある。

視覚・触覚・嗅覚などの五感提示デバイスの開発や電気刺激など。ブレインマシンインターフェース(BMI)もここに含まれる。

シンプルな装置で触覚を再現
空の箱やグラスの中に、まるで何かが入っているかのような感覚を提示する「Gravity Grabber」。実際には存在しない物体の重さや慣性質量の提示を、指先に装着するシンプルなデバイスで実現。
(慶應義塾大学大学院メディアデザイン研究科 南澤孝太先生 リンク

触覚プロジェクター
超音波で空間の任意の位置に触覚刺激を生成。
(東京大学 篠田・牧野研究室 リンク

精緻な触力覚提示デバイス
手に対する広範囲、高密度の触力覚提示を可能とする装着型ハプティックデバイス及びそのシステムの開発。
(電気通信大学 広田研究室 リンク

網膜投影ディスプレイ
透過型ミラーデバイス(TMD)を転写光学系として用いて複数の集光点を目のレンズの位置に生成する新しい網膜投影手法。(取材記事
(筑波大学 落合陽一 デジタルネイチャーグループ リンク

嗅覚ディスプレイ
香りを人に提示する装置。香りの強さや質を時間的に変化させるなど。
(東京工業大学 中本研究室 リンク

前庭電気刺激
前庭器官を電気刺激することで加速度の錯覚を感じさせる技術。ナビゲーション、加速度感覚の提示によるリアリティの増大や3D酔いの軽減などに応用可能。
(大阪大学 前田研究室 リンク

歩行感覚の提示
足の筋肉の収縮リズムをシミュレーションして電気刺激を与えると、(実際は筋肉は動いていないのに)歩行時の筋肉の収縮感を人工的に生起できる。これを用いて着席したままで「歩いている感覚」を提示。
(首都大学東京 池井研究室 リンク

BMIの研究
バーチャルリアリティという文脈での研究は少ないのが現状。そもそも脳科学自体がまだまだ発展途上です。みんなで頑張ろう。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(2)入力システム

人間や環境が発する情報(光や音、動き、声、生体データ、ボタン操作など)を、どのようにしてコンピュータに入力するのか。
逆に言えば、コンピュータが、どんなセンサでどのような処理をすれば世界を認識できるのか。

センシング、コンピュータビジョン、音声認識、ジェスチャー認識、視線追跡など
もしかしたら、これら単体ではVRとは言えないかもしれない。
けれどVRシステムの構成に必要な研究である。またVRの実現に向けて要素技術を研究している研究者も多くいる。

高速計測デバイスの開発
動画は「オレンジの球は無視、白の球だけをキャッチする」というデモ。高速、低遅延、小型、低電力なシステム開発の研究。
(東京大学 石川・妹尾研究室 リンク

画像による3次元空間認識の高精度化
カメラの画像などから、カメラの物理空間における位置を推定する技術(SLAM)を、深層学習などによって高精度化。
(東京大学 相澤・山崎研究室 リンク

ハンドトラッキング
手の動きやジェスチャーをいかに正確に、どのような手段で認識するか?という研究
(Facebook Reality Lab、元Oculus Reseach)

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(3)シミュレーションシステム

コンピュータが世界をシミュレーションする方法(アルゴリズム、現象のモデル化など)を探求する。

自然現象、物理現象、生体のシミュレーションなど
これらも、もしかしたら単体ではVRとは言えないかもしれない。

けれど、シミュレーションの無いVRでは、光の反射、物体の摩擦や反発、音の干渉や回折、生き物の生態や風の流れ、心臓の活動など、様々な事象・物理現象がいいかげんな(考慮されていない)世界になってしまうかもしれない。

音響シミュレーション
複雑な音響波動場の観測・伝送・変換・再生処理を統一的な数理で記述し、より高精度な音響波動場の再現理論を創出。
(東京大学 猿渡・小山研究室 リンク

デジタルツイン・脳血液循環の四次元可視化シミュレーション
(東京大学 大学院医学系研究科 臨床情報工学 リンク

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(4)システム全体

この辺の分類は難しいが「VRが利用できる環境を作る、あるいはVRによって環境を作る研究」というイメージで分けてみた。
コンピュータを取り巻くシステムにフォーカスした研究というか。
世界で初めてVRヘッドマウントディスプレイを作ったアイバン・サザランドは、「究極のディスプレイとは部屋である」と言った。その部屋では、椅子よ出ろと入力すれば物理的に座れる椅子が出現し、ジャングルに行きたいと思えばすぐさまあたり一面がジャングルの環境に変化するなど。

投影型没入ディスプレイ(CAVE)、実世界へのプロジェクションマッピングなど。

都市の大気環境シミュレーション
都市の大気流れ問題の3次元的構造を正確に把握
(中央大学 樫山・計算力学研究室 リンク

実世界への高速プロジェクション
(東京大学 石川・妹尾研究室 リンク)

バーチャル空間における歩行の実現
(筑波大学 岩田・バーチャルリアリティ研究室 リンク

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(5)ユーザとシステムのインターフェース

人間とコンピュータの関係にフォーカスした研究。コンピュータを用いることで、人間の生活や能力をどのように改善できるのか。人間はコンピュータとどのようなインタラクションができるのか。

人間拡張(ヒューマンオーグメンテーション)技術、ヒューマンコンピュータインタラクション(HCI)、ヒューマンインターフェースなど。

クロスモーダル
五感の相互作用をうまくデザインすることで、実際には起きていないことを感じることができる。例えば、実際には円状に周回して歩いているのに、壁を触りながらまっすぐ歩いている映像を見せることで、感覚的にまっすぐ歩いているように感じる「無限回廊」。
(東京大学 廣瀬・谷川・鳴海研究室 リンク)(まとめ記事

感情の誘起
自分の顔を実際より笑顔に / 悲しい顔に変調して表示する鏡。鏡の中の自分につられて、ポジティブな / ネガティブな感情を誘起する。
(東京大学 廣瀬・谷川・鳴海研究室 リンク)(まとめ記事

アバターの研究
自尊心の低い人は、アインシュタインのアバターを使うと、普通のアバターを使うより認知課題の成績があがる。(Banakou D, Kishore S and Slater M)

プロテウス効果を始めとして、アバターが人間の知覚・認知・行動にもたらす影響に関する研究があります。日本では、鳴海先生が「ゴーストエンジニアリング」という分野を提唱しています。

第三・第四の手
もしももう一つ腕があったら。人間はどうやってそれを操作するか、何がどの程度可能になるのか。
(東京大学 稲見・檜山研究室 リンク

他人の視界にJackIn
他人の視界に入り込む、SF小説「ニューロマンサー」に登場する技術に着想を得た研究。
(東京大学 暦本研究室 リンク

空中像とのインタラクション
(電気通信大学 小泉研究室 リンク

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(6)ユーザ

感覚、知覚、認知それ自体の性質や機構を探求する分野。文学部の心理学専攻で行われていることが多い(多分)。
近年ではVRを使って人間の知覚や認知の性質を調べる研究も出てきており、それらは(5)との区別が難しいけれど、こちらに分類した。

視覚や注意の研究、触覚感覚器の研究、身体所有感、行為主体感、認知科学など。VR酔いの研究もここで良いかもしれない(微妙だけど)。

そして脳科学。SAOを夢見る人が気になるであろうこの分野は、まだまだ謎が深い。

心理学
(東京大学 村上郁也教授)

(東京大学  横澤一彦教授)

身体所有感
「これは自分の身体だ」という感覚。通常身体といえば、あなたが今この記事を読むのに使っているソレですが、実は、物理的には自分の身体ではないモノ(例えばゴムの手)に身体所有感を生起することもできるのです。
(豊橋技術科学大学 北崎視覚心理物理学研究室 リンク

錯覚や不思議な感覚
錯覚とまとめてしまうのは語弊があるんですが、腕が伸びる、幽体離脱、身体分裂など、バーチャル環境では物理的には不可能な身体体験も可能になります。どうしたらそう言った感覚を生起できるのか?またその時の心理的な影響は?
(名古屋市立大学 小鷹研究室 リンク

脳科学

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

(7)VRという概念、存在を扱うもの、テクノロジー以外の文脈で行われる研究

日本だとあまりないけど

● VRという概念、その分類に関する研究
● VRが文化や社会にもたらす影響
● 経済、法、政治、文学、エンタメなど

あたりの研究がここに入ってくるのかな。

ビデオゲームの文脈ではテクノロジーではない部分も、色々と探求されている印象がありますね。ゲーム研究の手引きなるpdfを見つけたので以下に貼っておく。

補足

『赤(1)「出力システム」』『黄緑(5)「ユーザとシステムのインターフェース」』あたりが、VRの研究としてよく目につく今日この頃、かもしれませんね。
逆に、『橙(2)入力システム』『桃(3)シミュレーションシステム』は、それ単体ではバーチャルな体験を為さない要素技術に見え、VRの研究っぽくないかもしれません。けれどVRの実現に必要な研究です。

さあ進路選択だ

好きな分野が見つかったら、次は相性の良さそうな研究室や研究者を探そう。本当は研究者リストを作ろうと思ってこのノートを書き始めたんだけど、いつの間にか全く違うものになってしまった……。

ので結局、VRの研究ができそうな研究室リストも作ったよ。

作ってて、日本全国に面白い先生たちが散っているなあすごいなあとワクワクしました。みなさんが自分の本当にドキドキすることを見つけて、素敵なVRリサーチライフを送れることを祈ってます!

***

書いた人

ゆうのLv3 / Yuji Hatada(Twitter
2015年より現在までMogua VR ライター & リサーチアシスタント。
現在は、東京大学大学院 学際情報学府 廣瀬・谷川・鳴海研究室 修士課程にいます。東大VRサークル「UT-virtual」所属。VRに関して研究・制作・普及などあれこれ活動してます。趣味は作詞作曲です。

リンク
Mogura VRで書いた記事
Youtubeチャンネル
やってきたことをまとめようとして散らかしたままのScrapbox
前のブログ

お仕事ください

なんか面白そうな案件があったらください。
あと進路相談とかあったら受け付けます。ゆうのLv3(Twitter)まで連絡ください。VRに関する全般的な・入門的な講義とかもやったことあるので、「入門したいんだが?」という学生の方がいたらそんな感じの相談も乗ります。日本のVR界が融けて無くなるまで、VR界隈を存分に盛り上げてください。

この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

85

yunoLv3

note編集部のお気に入り記事

様々なジャンルでnote編集部がお気に入りの記事をまとめていきます。
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。