2018/8/12から開催されるSIGGRAPH2018の情報がちょこちょこ出てきはじめている。話題になっているところでいうと、ディズニーが初めてVRショートフィルムをシーグラフで公開するなどでしょうか。興味が偏っているけれど現地にいく方にお話聞けたらいいなということで一旦まとめておく。

SIGGRAPHとは

コンピューターグラフィクスやインタラクティブ技術に関する国際学会でこの界隈だとみんなが目指す天下一武闘会的な側面を持った特別な学会と認識している。世界中の名だたる大学はもちろんDisney ResearchやMicrosoft Research、Audodesk Researchなどハイレベルな発表が集まっている。インタラクティブ技術のデモ展示を行うEmerging Technologiesのセッションは日本が強い分野で参加すると同窓会的な感じになってうれしい記憶がある。

個人的なみどころ

Previewがいくつか公開されているのを見るとリグ入れやアニメーション周りの機械学習やVRでいうと触覚系は目につく。一方で去年ほど偏って多い印象はなくて、幅広くいろんなジャンルの新しい技術やその使い方、実装が見れそうでおもしろそう。そんな中で個人的に気になってるジャンルでいうとサウンドレンダリング、Pseudo haptics、CGアニメーションを目的とした物理演算ベースの機械学習の3つだったりする。

サウンドレンダリング
サウンドレンダリングは物理シミュレーションの派生として音響をシミュレーションしてしまおうというものである。雑にいうとメタルっぽいテクスチャを剣みたいので叩くとキンキンした音を出すみたいなことを演算で行う分野である。文章にしてみると非常にアホっぽいように思えるけれど技術レベルとしてはSIGGRAPHの中でもトップレベルに難しい分野だと思う。たとえばゲームでいうと音屋さんがひたすらにサンプリング&編集して剣で切られた感じの音とか棒で叩かれた感じの音をつくっている。これが物理シミュレーションで演算可能になってくると作業的にも音響の幅的にもひろがるので興味深い。ダンジョンで会話がちょっと篭るみたいなことが物理演算ベースで可能になると、制作者側は見た目とSEの聞こえ方を感覚的に一致させやすくなる。たとえば下記のような発表が見られそう。

Pseudo Haptics
日本語でいうと擬似触覚とか訳される。触覚を物理的に提示するだけでなく、他の感覚を補助的に用いながら人間が感じている触感を提示することを目指している分野である。そもそもヒトは触感を皮膚感覚のみを頼りにセンシングしているわけではない。コップに入っている氷を「見れ」ば、周りの露とか過去の経験を頼りになんとなくひんやりとした触感を感じ取る。風鈴の音を聞くとなんとなく涼しい気分になるのは日本人の過去の体験に基づいている、という意味でいうとある意味触感に作用しているともいえる。ちょっとポエムっぽいけど。とにかく、複数の器官への情報提示を行うことで何らかの感覚を提示させる試みは「クロスモーダル」と呼ばれていて、感覚提示をする際にシステムを大幅に簡略化できるポテンシャルがあるのでVR界隈ではもっともホットな研究分野。Pseudo Hapticsはその中でも触感提示に特化している。たとえばこんな研究が発表される様子。

この研究チームの発表を体験したことない方からだと、もしかする「本当に？」みたいな疑問がわくかもしれない。けれどたぶんすごいと思うのでどこかで体験してみたい。このチームは視触覚融合を実現させる強い事例をいくつもつくっていて最近だと下記のようなものがある。あと動画が見つからなかったけどこちらは今までで一番驚いたデモだったかもしれないくらい印象に残っている。

Pseudo Hapticsっぽい発表は他にもこちらのようなものがある。先に紹介したものもそうだけどHMDはしょうがないとしてもシンプル単体で動作する触感提示の試みの質の高まりがすごい。

CGアニメーションを目的とした物理演算ベースの機械学習
詳しいわけではないので冗長なサブタイトルになっていますが、下記のようなものを指している。

本当に詳しくないので論文のキーワードつまみながら勉強したいくらいのお話なのだけど、トピックとしてはUnityで機械学習のフレームワークml-agentsが公開されていてプロシージャルにモーションをつくらずとも自然なモーションを生成できそうな気配がある。ここらへんができると制作コストも下がってくるので注目したい。下記の記事が少し詳しい。

ざっくりSIGGRAPH2018の事前予習として情報をまとめてみた。現地にいくわけではないので現地組の情報に期待です。その他にもいくつかプレビューが出ているので最後に置いておきます。非常に楽しそう。