はじめに

「目は口ほどにものを言う」という言葉がある。
これを普段の生活の中で実感する人は少なくはないのではないだろうか？
怒っている時や嬉しい時、感情は目に現れる。
また、スポーツ等の現場でもアイコンタクトは非常によく使われている。

果たしてそれは本当だろうか？
科学的にそれを証明することができるのだろうか？
そんな思いから私は視線や瞳孔径、瞬目等の眼球運動に関する興味を抱いてきた。

今回の論文はその答えの一つとなり得る論文。
画像を見ている時とそれを想起する時の視線を計測し、DNNと組み合わせることで、どの画像を想起していたかを当てることができるという。

視線からあなたが想起した画像を明らかにする

The Mental Image Revealed by Gaze Tracking
（Xi Wang, Andreas Ley, Sebastian Koch, David Lindlbauer, James Hays, Kenneth Holmqvist, Marc Alexa, 2019）

これまでの研究から、人間は画像や脳内にあるイメージを想起するときに目を動かすことが知られている。
これは実際に画像を見ている時も同様であり、画像を見ている時と同じ画像を想起している時で同様の視線パターンを描いている。

そこで本論文では、画像を想起している時の眼球運動から特徴を抽出し、データベース内のどの画像を想起していたかを検索するシステムの開発をおこなった。

実験ではまず、画像を見てすぐに想起するという課題を30人の被験者に対してそれぞれ100枚おこなった。
その結果、視線が固定されている時間間隔は画像を見ている時より想起している時の方が長く、視線が動く範囲は画像を見ている時より想起している方が狭かった。
そこで、CNN（Convolutional Neural Networks）を用いてその2種類の画像（観察データと想起データ）を一致させ、想起データからデータベース内の画像を特定できるようにした。

ここまでなら脳波やfMRIを用いた統制下での過去の研究と同じだった。
これまでの研究では実験環境が制限されており、応用性が低かった。

そこで今回は美術館を模した部屋に20枚の画像を展示し、アイトラッカーをつけた被験者に見せ、それを見ている時の視線と後に想起した時の視線を照らし合わせ、20枚の展示画像のうちどの画像を想起したのかを特定した。

その結果、統制下での実験と同様に想起時の眼球運動から画像を特定することができた。

さらに今回の実験を通して、データベースの画像（検索候補画像）が多いほど同様の眼球運動パターンとなることが多く、検索精度が低くなることが明らかになった。
また、画像の想起中にできるだけ大きく視線を動かすように指示した場合、より検索精度が高くなることも明らかになった。

今後の研究の可能性として、本研究では画像提示後短い時間での想起をおこなったが、記憶衰退の影響や長期記憶からの想起ではどのような結果になるのかの検討は興味深い内容である。

おわりに

今回はこれで以上です。

単にいま見ている画像を視線を用いて当てるのではなく、想起している内容を当てられるというのが今回驚いたポイントでした。
過去の研究でfMRIを用いてどんな夢を見ていたのかを脳活動から画像化する研究を聞いたことがあるのですが、今回のように視線データも統合することでより精度の高い夢の表出ができるかもしれませんね。
ちょっと怖い話な気もしますが。。

最後まで読んでいただきありがとうございました。
もしおかしな解釈等ありましたら教えていただけると助かります。