神経科学、深層学習、両分野の発展は目覚ましく、人工ニューラルネットワーク(ANN)と生物学ネットワーク(BNN)双方の理解は深まっている。しかし、動物が環境内で感覚刺激から身体的な運動を生成し、行動をどのように制御しているかは、ANNをモデルとしたBNNの理解という観点からは十分に研究されていない。

AlphaGoなどを開発したDeepMind社らが出版した今回紹介する以下の論文では、バーチャルネズミを構築することで、自由行動する動物の深層神経行動学を切り開くことを目的としている。ここでとるアプローチは、まず実際のネズミがとるような行動を再現するシミュレーションモデルを作成し、その上でANNの獲得した表現とBNNの神経活動において知られている知見とを比べることで、BNNの特徴が再現されているか、再現されていなければ何が違いを生む要因になっているのかを探っていこうとするアプローチである。このような構成論的なアプローチは一般に行われる解析的なアプローチと対をなすもので、その重要性を”Can a biologist fix a radio?”, ”Could a neuroscientist understand a microprocessor?”などの論文を引用して提起している。

Merel, Josh, et al. "Deep neuroethology of a virtual rodent." arXiv preprint arXiv:1911.09451 (2019).
https://doi.org/10.48550/arXiv.1911.09451

手法

MuJoCoと呼ばれるシミュレーション環境でバーチャルネズミの身体を作り、隙間を飛び越える、迷路を探索する、丘から降りる、ボールに前足で2度タッチする、という4つのタスクを解かせた(図2)。

エージェントはインプットとしてマウス目線の画像と固有感覚刺激を受け取り、アクタークリティックベースの深層強化学習アルゴリズムを用いて確率的に行動を決定する仕組みになっている(図3)。

結果

バーチャルネズミがタスクを遂行している際の行動を解析してみると、早いもの(5-25 Hz)から遅いもの(0.3-5 Hz)まで様々な行動の特徴量を定義することで、次元削減とクラスタリングにより、行動モジュールを分離するマップを作成することができた(図4B)。また、早い運動要素は各タスクで共通に用いられているが、遅い運動要素はタスクごとに異なるものが用いられているといった柔軟な調節がなされていることが分かった(図4C)。

次に、行動中のCoreネットワーク(状況や報酬などゆっくりとした特徴量を表象)、Policyネットワーク(行動の早い特徴量などを表象)の活動パターンを調べた(図5A)。神経活動を行動ごとにクラスタリングし、神経集団表現の近さをLinear Centered Kernel Alignment(CKA)指標を用いて定量化すると、ネットワークは主に関節にかける力などではなく、行動の特徴量を表現していることが分かった(図5B)。

神経活動を主成分分析(PCA)により次元削減し、ベクトル場を描くと、活動シークエンスと対応するような回転ダイナミクスを可視化することができた(図8A)。そこで、jPCAという手法を用いて潜在回転ダイナミクスを抽出すると、Coreネットワーク、Policyネットワークそれぞれから行動や報酬に対応するダイナミクスを可視化することができた(図8B)。これは、Coreネットワークが報酬の構造を、Policyネットワークが行動の生成を表現していることを反映している。これらの結果から、Coreネットワークがタスク依存的に感覚刺激を文脈のシグナルへと変換し、Policyネットワークがそのシグナルをタスク非依存な形で適切な行動系列へと変換することが示唆された。

考察

本研究では、バーチャルネズミを用いることで、神経系をリバースエンジニアリングし、単一の方策によって多数の行動タスクを解かせるシミュレーションモデルを作成した。このアプローチでは、感覚入力、神経活動、行動のすべての変数を観測することができ、モデルの構造、分散の由来、タスクの目的などの完全な知識を得られるため、理論の検証を包括的に行うことができるという利点がある。

感想

バーチャルネズミの動画を見てみると実際のラットとは異なるように見られる点もあるのだが、このようなリバースエンジニアリングのアプローチは実験的なアプローチと相補的な視点、検証を与えてくれるものとして重要性を感じた。
応用面では、もしこのようなシミュレーションモデルの精度が上がれば、実際のネズミを用いた研究をこのモデルによって置き換えて使うネズミの数を減らしたり、今までできなかった数の条件を試して新たな知見の解明につなげたりといったことが将来可能になっていくのではないかと考えられる。

参考文献