みなさん、「BCI」ってご存じですか？

BCIとは「ブレイン・コンピューター・インターフェース」の略で、大まかに説明すると「脳の神経細胞が発する電気信号をコンピューターに伝えるためのしくみや機能」です。

近年、この分野の研究が急速に進んでいることで、ライトノベルの『ソードアートオンライン』で描かれていたような「仮想空間で自分のアバターを自在に操れる世界」の実現が、そう遠い未来の話ではなくなってきているのだとか……！

今回は、BCIとUnityをかけ合わせてさまざまなものづくりをしている、芝浦工業大学工学部の堀江亮太教授の研究室を訪ねました。

Unityで開発したという「脳波VRライブ」の話を中心に、BCIとUnityの魅力や将来性について、たっぷりと語っていただきました。

観ているだけで盛り上がりを共有できる「脳波VRライブ」

──堀江さんが研究室の学生と共に開発した「脳波VRライブ」とは、一体どのようなものなのでしょうか。

堀江：端的に言うと「ライブ参加者の脳波から精神的な盛り上がりを計測し、それをVR上に視覚演出として反映させるエンターテイメントシステム」です。

言葉の説明だけでは分かりにくいと思うので、よかったら体験してみませんか？

──ありがとうございます、ぜひ！

堀江：まずはこちらの脳波計の電極をおでこに付けますね。この電極に脳波計の本体を接続しまして……。

──あ、こんなに小型なんですね。

堀江：医療現場で使われるものはもっと大がかりですが、これは市販もされている簡易なタイプです。

堀江：VRゴーグルを装着をしていただいて、準備完了です。

堀江：では、これからVRゴーグルのほうにユニティちゃんの『Candy Rock Star』のライブ映像を流しますね。

堀江：みなさん、ぜひ映像上に現れるエフェクトに注目してください。

──星型やハート型のエフェクトが出てきますね。これが、いま私たちの「精神的な盛り上がり」を反映しているのですか？

堀江：そうなんです。脳波の「α波」と「β波」を計測して、その数値比から「盛り上がり度」を算出しています。盛り上がり度が高くなるにつれて、「小さな星形→大きな星形→ハート型→桜吹雪」とエフェクトの種類も変化していく仕様です。

──わあ、サビに入るとエフェクトも賑やかになりました！

堀江：エフェクトの色は、鑑賞者ごとに振り分けが可能です。今は3名で観賞してもらっているので、3色に分けています。

──「黄色が出ていたら誰々さんが盛り上がっている」というのが、視覚的にわかるのですね。

堀江：この「脳波VRライブ」を用いることで、障害があって体を動かせない人でも、自分以外の観客たちとその場の盛り上がりを共有しながら、オンラインでライブを楽しめるようになることを期待しています。BCIの研究領域においては、ALS（筋萎縮性側索硬化症）のような重度の障害をもつ方の生活支援も目的になっています。

リアルの場と同じように……とまではいきませんが、今まで会場に行けない人たちが諦めざるを得なかった「ライブ会場の一体感」を擬似体験できるツールとして、今後活用できるのではないかと見込んでいます。また、会場でライブに参加するときのツールにもなれればと考えます。

──「場所を問わずにライブの一体感を享受できる」と捉えると、これから増えてきそうなVR配信ライブの視聴をよりリッチな体験にするツールとしても活躍しそうです。

堀江：そうですね。一般の方々向けの利用価値も高めつつ、「脳波VRライブ」を世界中で広く使ってもらえるようなツールにしていきたいです。

BCIなら、経験をすべて生かせると思った

──堀江さんは現在の研究室で「脳波VRライブ」をはじめとした、BCIを用いたものづくりに注力されていますね。「脳波×ものづくり」に注目し始めたのは、何かきっかけがあったのでしょうか。

堀江：ちょっと経緯が長くなるのですが、順を追って説明しますね。私の大学時代の研究分野はシステム工学でした。簡単に言うと「数学を使ってあらゆる現象を数式化すること」を学んできた人間です。

博士課程を修めた後は「リアルな生物現象とも関わりたい」という動機から、理化学研究所の脳科学総合研究センターに入所。そこで脳波などの脳活動の計測や研究の手法を学びました。

研究自体は充実していたのですが、勉強を続けていく一方で、だんだんと「手触りのある工学部的な研究に回帰したい、生活支援のものづくりがしたい」という思いが膨らんでいっていました。

──その「ものづくりをしたい」という思いが、BCIにつながっていったと？

堀江：そうですね。BCIは2000年前後から世界的に盛り上がりはじめ、日本でも2005年頃から関連の研究が増えてきた分野です。私も脳科学総合研究センターの研究員として、その潮流を目の当たりにしていました。

そして「BCIの領域なら、システム工学の知見や、脳波計測をベースとした認知神経科学の手法など、これまで培ってきた学びを余すところなく生かしながら、ものづくりができるのではないか」と思ったんです。

その後、2010年に芝浦工業大学の情報通信工学科（※当時は通信工学科）に着任が決まって、本格的に「BCI×ものづくり」の研究をスタートさせました。システム設計の基礎や脳波の計測は私がしっかり指導をしつつ、具体的なプロダクトの企画やシステム開発は、情報通信工学を学んで、ソフトウエア、ハードウエア、無線、ネットワークをまたいだものづくりが得意な学生にリードしてもらっています。

──では、脳波VRライブも学生さんが？

堀江：はい。アドバイスはしていますが、実制作はすべて学生です。このほかにも当研究室では「安価・簡易・実用的」をモットーに、学生たちがさまざまな「BCI×ものづくり」にチャレンジしています。

「研究」と「ものづくり」の接続にハマったUnity

──脳波VRライブだけでなく、堀江さんの研究室ではUnityを多方面に活用してもらっているとお聞きしています。Unityを使い始めたきっかけは、何かあったのでしょうか。

堀江：数年前に研究室の院生が、脳波計測の演習用にと、簡単なアプリをUnityで作ってくれたんです。

脳波の検出が正常に行われ、正しくPCに入力されて入れば、画面上のユニティちゃんが前進する。その動作を何度か続けて、ユニティちゃんが前方にある木までたどり着けたら、演習は合格……という、本当にシンプルなものでした。

堀江：ただ、ほんの少しのゲーム性を持たせただけで、学生たちの演習に対するモチベーションが、とても高まったんですね。「やはりエンターテイメントの力はすごいな」と感じていたら、そのうちに「卒業研究でUnityを使いたい」と申し出が来るようになりました。

そこで私も指導のためにUnityを触り出したのですが、使えば使うほど「これをうまく活用すれば、自分たちの専門性とものづくりの接続が、今よりもっと簡単にできるようになるのでは？」と感じるようになって。

そこから程なくして、研究室の全学生にインストール手順や参考書の手引き、あるいは研究室の先輩たちが書いてきたコードを紹介するなどして、学生にもUnityを学ぶことを勧めてきました。今では「Unityありきの研究開発スタイル」といえるようになりましたね。

「作りたい」の思いを実らせるツール

──堀江さんの思う「大学での研究開発にUnityを使うメリット」を、ぜひ教えていただけますか。

堀江：まず、「専門的な知識がなくても、簡単に作れる」のが本当にありがたいです。私たちはあくまで研究者であって、アプリや3DCGのクリエイターではありません。メインの研究を進めながら、描画やモデリングなどをゼロから覚えていこうとすると、おそらく数年かけてひとつ作れるか否か、くらいのペースになってしまいます。

けれども、Unityなら既存のアセットを活用すれば、難易度にもよりますが、ものの数週間で試作が仕上がったりする。「アイデアを形にする」までの時間が、Unityを用いることで飛躍的に短縮できるんです。

──その分、本分である研究的な思考の掘り下げに、より時間を割くことができると。

堀江：Unityの使い方を覚えた学生たちは、「発想の具現化」のハードルが下がっていきます。それによって「この研究を生かして、もっとこんなプロダクトが作れたら素敵では？」といった、研究とものづくりを接続するアイデアが出やすくなりましたね。

また、用意されているアセットのクオリティが高いので、それらを借りれば素人でも「それなりの見栄えのもの」が作れることも、ありがたいポイントです。見た目が残念な仕上がりになってしまうと、作り手のモチベーションも上がりにくいですから。「脳波VRライブ」では、ユニティちゃんのアセットの力に、本当に助けられています。2018年以降の論文発表やイベント出展時のデモ、弊学からのプレスリリースなど、フルで活用していますね。

──私たちも、作り手の「作りたい！」という気持ちを高めたい一心で、約2年間かけてユニティちゃんのキャラクターアセットを設計しました。素敵な研究に活用していただいて、こちらこそありがとうございます！

堀江：個人的に、システム工学や情報通信工学を学んでいる学生の皆さんには、Unityを覚えておくことをお勧めしたいですね。

システム工学や情報通信工学では計測・通信・制御など、主に人目に触れにくい領域を扱います。だからこそ、かつての私のように「見える部分にも携わりたい、見えるものを作ってみたい」という気持ちを抱いている人は、きっと少なくないはず。Unityはそんな「作ってみたい」という思いの結実を、力強く丁寧にサポートしてくれる存在です。

SAOの世界、そろそろ現実に？

──これからBCIを用いたものづくりが発展していくと、現実の世界ではどんなことが実現され得るのでしょうか。

堀江：脳波の計測の精度が上がっていけば、脳波でもっとさまざまな機械の、より複雑な操作を行なうことが可能になるでしょう。最先端の研究では「いま見えているドローンを右に動かしたい」といった具体的な指示を、脳波経由で出せるようになってきています。

「念じるままに機械を操作できる」というSFみたいな光景が、遠い未来の話ではなくなりつつあるんです。そして、こうした技術はメタバースでの活用も期待されています。

──それはつまり、仮想空間で自分のアバターを、念じるだけで自在に動かせるようになる日も近い……ということでしょうか？

堀江：そんな未来、とりわけ『ソードアートオンライン』のような作品の世界観に憧れて、BCIの分野に入ってくる学生さん、結構多いですよ（笑）。

現状ではまだまだ難しいですが、これから外科手術の安全性や倫理的な問題がクリアされて、脳に直接埋め込むタイプの脳波計測器が一般にも普及するようになれば、かなり現実味を帯びてくるんじゃないかな、と想像しています。

私が大学に着任した2010年頃、いま語ったような話は確実に「まだまだ遠い未来」でした。それが今では「この技術が進歩して、この課題がクリアされたら……君たちが社会で活躍する頃には、実現しているかもしれない」と、明確に伝え方が変わってきました。

──BCI分野の発展に要注目ですね。最後に、堀江さんがこれから「BCI×ものづくり」の領域でどんなことにトライしていきたいか、ぜひお聞かせください。

堀江：私たちの研究室では引き続き、BCIを用いた「エンターテイメントのものづくり」と「障害者の生活支援のためのものづくり」を手がけていきたいと考えています。とくに、この2つの要素が混ざり合った領域である「脳波VRライブ」は、今後もアップデートを繰り返しながら実用化を目指していきます。

個人的に「ライブ」というエンターテイメントがとても好きなんですよね。パフォーマーの創造力とオーディエンスの想像力が共鳴し、そこで物語の共有が起きて、無二の感動が生まれる。そこには人間の本質、生の喜びが宿っているような気がしています。

力強くポジティブなエネルギーを、あらゆる人が一緒に共有できるライブエンターテイメントを成立させたい……そんな願いを胸に、私たちの持つ技術力で「生体情報で世界をつなげるライブ」を実現させていきたいと思います。