「主観的価値」をもう一段階深めてみよう

前回の研究コラムでは、どのようなときに学習が起こりやすいかを、レスコーラ=ワグナー・モデルという学習心理学の理論を紹介しながら解説しました。前回のお話では「報酬予測誤差」がキーワードとなっていました。報酬が予測を上回る「サプライズ」が起きたときには、報酬の原因となる行動がより頻繁に行われるようになり、反対に予測を下回る「期待外れ」が起きたときには、行動の頻度が減少します。また、サプライズや期待外れはその後の報酬予測に影響するため、ひとつひとつの行動だけでなく、行動が行われる文脈も考慮に入れられることを紹介しました。

今回は、報酬に対する主観的価値が高くなる場面を研究したユニークな先端研究の知見を紹介し、学習とそのメカニズムへの理解をもう一段深められる回としたいと思います。

「何も失わずに手に入れたものなどくれてやる」のメカニズム

お金を稼ぐためには働かなければいけないように、報酬を得るためには多かれ少なかれコストがかかります。そして多くの場合、私たちはコストに見合うだけのリターンが得られるかどうかを判断して行動を選択しています。費用対効果やコストパフォーマンスの考えにもとづくと、コストをまったくかけずにお金や地位、名声を得られるのならばそれに越したことはないでしょう。

一方で、報酬は代償を伴うものだ、コストを伴って得られたものにこそ価値があるという考え方も、私たちの周囲に定着しているように感じます。

‘No pain, no gain’ （痛みなくして得るものなし）という英語のことわざは楽曲のタイトルや歌詞にもよく使われており、報酬とコストの関係は時代や文化を超えた関心事になっていることがうかがえます。

このようなコストと報酬、そして主観的価値の関係に切り込んだユニークかつ意義深い研究が、2019年に玉川大学の研究者たちによって発表されています (Tanaka, O’Doherty & Sakagami, 2019) 。

この研究ではニホンザルに、クリアするとご褒美のジュースをもらえる2種類の課題に取り組ませています。ひとつは「ハイコスト課題」で、ジュースを得るためには画面の中にある点を1秒以上じっと見ていないといけません。もうひとつは「ローコスト課題」で、点に限らず画面のどこを見ていてもジュースがもらえるというものです。ハイコスト課題では、特定の点に視点を合わせていないといけないので、ローコスト課題よりも負担が大きくなります。どちらの課題でももらえるジュースの種類や量は同じで、ニホンザルたちはあらかじめ、両方の課題のルールを訓練されていました。

実際に両方の課題に取り組んだときの反応時間や課題の失敗率などを見ると、サルたちはハイコスト課題のほうを嫌っていることがわかりました。楽にご褒美がもらえる仕事よりも、同じご褒美で負担の大きい仕事のほうが気が進まないのは当然かと思います。

しかし興味深いのは、それぞれの課題が成功して報酬が出るときのサルの反応です。どちらの課題でも、成功すると「これからご褒美が出ますよ」という意味のマークが画面に出るようになっていたのですが、このマークが出たときのサルの反応が、ハイコスト課題のほうが早かったのです（繰り返し課題を行なってデータを集めた結果、統計学的に意味のある差が両課題間で確認されています）。このことから、報酬の種類や量は同じであるにもかかわらず、サルはハイコスト課題でもらえる報酬のほうを好んでいることがわかりました。

報酬予測誤差に対応する脳細胞

ハイ / ローコスト課題に取り組んだサルの行動から、コストがかかる課題でもらえる報酬のほうが好まれることがわかりましたが、この研究にはさらに続きがあります。

研究者たちは、課題を行なっているときのサルの脳の細胞から電気信号を取得して、いつどのくらい活動するかを調べていました。先の研究方法の説明のときに「なぜ人じゃなくてサルでやったの？」と思われた方もいらっしゃったと思いますが、電極を刺して脳の奥にある細胞の活動を調べる研究が、人間だと難しいからなのでした。

脳の神経細胞（ニューロン）にもいろいろな種類があるのですが、この研究でターゲットにしていたのは、脳の奥深くにある「中脳」という領域の「ドーパミンニューロン」と呼ばれる細胞でした。なぜ中脳のドーパミンニューロンがターゲットになっていたかというと、報酬と密接に関わっていることが過去の研究で指摘されているからです。特にドーパミンニューロンは、前回の研究コラムでキーワードとなっていた「報酬予測誤差」に対応して活動することが報告されています。つまり、予測していた報酬と実際に得られた報酬が違っていればいるほど活動量が大きくなるのです。

このように報酬予測誤差と関連するドーパミンニューロンは、今回紹介している研究ではどのように活動していたのでしょうか。活動量の解析は、2つのタイミングに分けて行われています。まず、課題の前に次の課題がハイコスト / ローコストどちらなのかを示すマークがモニタに表示されていたのですが、そのマークが表示されたときのドーパミンニューロンの反応は、ローコスト課題のときのほうが大きいという結果が得られました。ドーパミンニューロンは、報酬に対しては活動量を上げ、コストに対しては活動量を下げる反応を示すことが知られています。今回の課題でも、報酬とコストが相殺される形でドーパミンニューロンの活動量に現れ、ローコスト課題のほうが活動量が相対的に大きくなったと考えられています。

次に、課題が成功して「これからご褒美が出ますよ」という予告マークが表示されたときのタイミングに注目しています。反応時間の測定結果では、ハイコスト課題のほうが早い反応が得られていました。ドーパミンニューロンの測定からも、ハイコスト課題のほうが活動量が大きく、反応時間と対応する結果が得られたのです。このことは、ハイコスト課題において、より高い報酬予測誤差がサルの脳内で検出されていることを示しています。

一連の実験から、サルの行動と神経細胞の活動の結果が対応しており、同じ報酬であってもハイコスト課題で得られた報酬のほうがより高い報酬予測誤差をもって迎えられ、高い主観的価値を認められることがわかりました。さらにこの研究では、よりコストがかかる条件のほうが学習が促進されることも明らかにしています。前回の研究コラムで、報酬予測誤差の程度、つまりサプライズや期待外れが大きいほど学習が進むということにも触れましたが、その知見と整合する結果となっています。

実験と生理反応からわかる「働いたあとのビールがうまい理由」

今回紹介した研究については玉川大学からもリリースが出ているのですが、そのタイトルは「世界初！「働いた後のビールはうまい」脳内メカニズムを発見！－報酬を得るための努力がその報酬の価値を上げる脳メカニズム－」というものでした。コストを伴った報酬の価値の高さを端的にかつ多くの人の共感を呼ぶ形で表現したユニークなタイトルだと思います。

株式会社TALNENTのTRC (Talent Research Center) では、才能発揮とストレスの関連性についても実際にデータを取得して研究を進めています。これまでの研究コラムでは、報酬や学習に関する学術知見を援用して、才能発揮において重要となる、行動の継続・中止について整理してきました。今回紹介した研究のように、コスト（ストレス）が報酬の主観的評価を高めたり、学習を促進するのだとしたら、才能発揮におけるストレスの影響は、必ずしもネガティブなものばかりではない可能性が出てきます。

報酬や学習については、今回紹介した研究のように、行動実験の結果と神経生理学的な測定の結果を対応づけることで、より確かな証拠を得ようとする動きが進んでいます。サルで行なった研究知見が完全に同じようにヒトへの知見に応用できるわけではないのですが、近縁種であるサルで明らかになったメカニズムはヒトを理解する手がかりになります。才能の研究は単一の学術分野には収まらない総合格闘技のような取り組みになるので、引き続き各方面にアンテナを張って知見を積み重ねていきたいと思います。

文献

• Tanaka, S., O’Doherty, J. P., & Sakagami, M. (2019). The cost of obtaining rewards enhances the reward prediction error signal of midbrain dopamine neurons. Nature communications, 10(1), 3674.

• 玉川大学 (2019).　世界初！「働いた後のビールはうまい」脳内メカニズムを発見！－報酬を得るための努力がその報酬の価値を上げる脳メカニズム－．　最終アクセス日: 2023年11月5日，https://www.tamagawa.jp/research/brain/news/detail_16455.html