科学の再現性危機

科学的な根拠を主張するための一つの条件に、再現性があります。再現性とは、ある一つの研究で報告された内容を、もう一回同じ手順で繰り返したときに、同じ結果が得られる状態を言います。

近年になって心理学を中心に、この再現性の低さが科学界全体で議論されてきました。コトの発端は、2015年にサイエンス誌で発表された論文です。この論文を簡単に要約すると、以下のようになります：

このプロジェクトでは、三つの代表的な心理学ジャーナル（Journal of Experimental Psychology: Learning, Memory and Cognition; Psychological Science; そして Journal of Personality and Social Psychology）に2008 年中発表された100 本の論文報告を対象として、その追試を行った。結果、5%水準で統計的有意に達した実験は全体のうち36%に留まり、追試を行った研究者自身の主観的基準に照らし合わせて「成功した」と言えるものを対象としても、39%にしか至らなかった。さらに領域別にその内訳を見ると、社会心理学系では25%、認知心理学系では50%の再現可能率が見られた（5%有意水準で）。この結果は、心理学における現状の再現可能性が極めて低いことを如実に示すものであり、メディアでの報道を含めて、大きな反響を呼んだ。(Ikeda & Hiraishi, 2016)

科学の根幹である再現性は、心理学ではほとんど満足する水準で達成されていない、という事が初めて数値化されました。その影響はアカデミックだけにとどまらず、心理学を愛する一般読者へも大きなショックと共に知れ渡ってきました。日本語でも、近年になって話題になってきています。例えばこちらの記事。

本記事の目的は、再現性危機について、少しだけ誤解が生じているかもしれない部分について訂正し、より良い見方を提案します。読者に、もう少し楽観的な視点を与えられたら幸いです。

この記事の結論：

①心理学は、巷で騒がれているほどやばくはないので安心して

②やばく聞こえるのは、研究者やメディアが正しく伝えていないから

石ころではなく、家を見よう

心理学はメディアからの注目度も高く、よく研究成果や論文が一般向けに紹介されることがあります。普段、メディアが取り上げる研究成果は論文という形で報告されたものが一般的です。しかし、よくあるメディアの伝え方で決定的に欠けている重大な視点があります。それは「石ころではなく家を紹介する」ということです。

社会科学研究では、一つの論文を「石ころ」に例えることができます。本来、社会科学の最終目標は、石ころを積み上げて大きな家を作ることです。この場合、大きな家の事を理論やフレームワーク（Big Idea: 大きなアイディア）と例えます (Muthukrishna & Henrich, 2019)。
（＊ただしここで意味する理論は、他の自然科学分野の指す理論とはかなり意味合いが違うことをご了承ください。）
（＊厳密には、家はさまざまなパーツ（排水溝、柱、電気）でできているので、石ころに単純化できるものではありませんが、説明を単純にするため、石ころと仮定してください。）

このようにしてみると、普段メディアが取り上げる研究成果は、石ころ一つにあたります。しかし、メディアで伝えられる内容では、それぞれの石ころが、どの家に属するのかや、どういう風に使われているのか、までは教えてくれません。心理学の再現性危機についての誤解は、理論をこのように考えるとある程度解消できます。

具体的に、そもそも心理学における理論とはなんなのかについて考えてみましょう。

理論は抽象的な記述、研究は具体的な事象の羅列

理論とは「抽象化できて、一般化できる事象の記述」であるべきです　(Kruglanski, 2004)。

ここで例えとして、「不安という感情が、どう発生するか」の理論を仮に考えてみましょう。

例えば、一つの論文が「事前準備をしていないアメリカ人学生ほど、テストの前に不安を感じたが、準備をたくさんしたアメリカ人学生は、自信を感じた」と言う事象を報告したとします。

すると別の論文では、「自分の誕生日の前には不安を感じなかったのに、恋人の誕生日でサプライズをする前には不安を感じた人が中国では多かった」と言う事象を報告しました。

また別の論文では、「地震などの自然災害が多い日本に住む人ほど、穏やかな環境であるアメリカの西海岸に住んでいる人たちよりも、普段から不安を感じる頻度が高かった」と言う事象を報告しました。

これらの個別の論文をまとめて、不安がどういう状況で起こるのかを理論的に説明すると...

「不確実だが実在する脅威がある状況で、不安が生じる」

と言えます。この理論的記述は、具体的ではなく抽象的で、さまざまな場面に一般化できる記述です。

先ほどあげた個別の論文を少し深く分析してみると、次のようになります：

・テスト前に不安を感じる（=失敗する可能性が高いので脅威である）

・恋人の誕生日でサプライズをする（=喜ばれるかどうかが不確実で、失望された時の脅威がある）

・地震などの自然災害が多い地域（甚大な脅威は想像できるのに、いつ発生するかがわからない不確実性が高い）

これらの個別の事象は、先ほど作り上げた理論でうまく説明できます。また、この理論は、何が「不安でないか」をきちんと選別することもできます。（自分の誕生日は確実にくるし、脅威もないので不安ではなくワクワク感の方が適切でしょう）またこの理論を知っていれば、次の新しい事象を観察するときに、不安が生じるのかどうかの予測を立てることができます。

このように考えてみると、一つ一つの論文の目的は、あくまで具体的な事象（＝石ころたち）を報告することです。そして多くの論文を集めて、初めて理論化すること（＝家を建てること）ができます。

理論は抽象的な記述で、研究論文は具体的な事象の羅列のことです。

再現の失敗は、石ころの再現を失敗すること

ここで、冒頭に挙げた心理学の再現性についての統計を振り返ってみます。

このプロジェクトでは、三つの代表的な心理学ジャーナル（Journal of Experimental Psychology: Learning, Memory and Cognition; Psychological Science; そして Journal of Personality and Social Psychology）に2008 年中発表された100 本の論文報告を対象として、その追試を行った。結果、5%水準で統計的有意に達した実験は全体のうち36%に留まり、追試を行った研究者自身の主観的基準に照らし合わせて「成功した」と言えるものを対象としても、39%にしか至らなかった。

ここでいう３９％という数字は、どういう意味なのでしょう？

３９％という数字は、心理学全体の３９％という意味では決してありません。あくまで、１００個の独立した石ころを集めたうち、３９個の石ころしか再現できなかった、という意味です。誤解の原因は、「どの石ころが、どの家に属するのか、あまり議論していない」点です。

実は、心理学の分野全体を考えてみると、数々の家が存在しています。もしかしたら、以下のような状況かもしれません：

こう考えてみると、個別の石ころは、再現するかもしれないし、しないかもしれません。同時に、脆い石ころを含む家も存在すれば、きちんと建っている家も存在していると言えます。先ほどの３９％という数字は、あくまで、個別の石ころを別々の家から集めてきた時の総和に対する割合でしかありません。

しかし、普段メディアや研究者が論文を紹介する際は、「報告された石ころが、どの家に属するのか」「再現できなかった石ころが、どの家の石ころなのか」「どの家が、崩壊しているのか」といった点を全く考慮していません。この状況は、木を見て森を見ず、とも言えるでしょう。

もっと言うと、一つの家に対して、大半の石ころが大丈夫であれば、多少脆い石ころがあっても建っていられます。

これが逆に、「ある家の石ころを１００個集めて検証したところ、６０％がダメでした」みたいなことになったら、その家は崩壊するから使わなくて良い、という結論になります。しかし、そのようなことを示した報告は今のところなかなかありません。(崩壊しかかっている有名な理論ももちろんある)

どの家にも、不十分なパーツはあり、完璧な家は存在しません。排水溝がうまくつながらなかったり、雨漏りしたりもするでしょう。それでも、一応、崩壊しないで生活できるほどの家であれば、住めるはずです。そういう家は、社会科学では立派な成果だと言えるのではないでしょうか。

（＊自然科学の分野では、もっと厳密な基準を設けているはずですが）

再現性危機についての一般的にされる議論で一番の問題な点は、石ころ単位に集中してしまって、家単位で心理学の危機を議論していない点です。心理学でOO％の研究は再現に失敗したと言うような議論を耳にすると、あたかも、心理学の大半は再現できないものなんじゃないかと誤解を生むかもしれませんが、そうではありません。

心理学で建てられた理論を家単位で考えてみると、案外、大丈夫かもしれません。実は、家単位で考えると、以下のような状況かもしれません。

仮にもし、心理学が建ててきた家全体の６０％が壊れかけ寸前だとしたら、それは流石に、心理学全体の危機というしかないです。しかし、実際にはそうではありません。

少し専門的な話になりますが、再現性危機の問題は、言い換えると、「いかに厳密な手法を用いて頑丈な石ころを作るか」という問題であり（Muthukrishna & Henrich, 2019）、「いかに頑丈な家を作るか」の議論ではありません。石ころを集めて家を建てる作業は、とても主観的で、クリエイティブな作業です。しかし、残念ながら、研究者自身（自分も含め）、家の建て方はほとんど習わないのです（Kruglanski, 2001）。

どこで家は見つかる？心理学を愛する読者へ

では、誰も家を紹介してくれない状況で、読者はどう心理学研究を消費していけばいいでしょうか？

論文の中には、ある程度出来上がった家しか載せないジャーナルや（Psychological Bulletin, Psychological Review）,　最近どういう家が建てられているのかを紹介するようなジャーナル（ Social and Personality Psychology Compass, Current Research in Psychology, Perspectives in Psychological Science）もあります。石ころを一個づつ紹介するジャーナル（学術誌）だけではないことは事実です。しかし、こういう専門のジャーナルは、大学院生以上でないとなかなか入手も簡単ではないし、おすすめはできません。

そこで一般的には、自分は書籍を読むことをお薦めします。基本的には、研究者は長年の研究をまとめて一つの本で大きなメッセージ（理論やフレームワーク、big idea）を残していきます。この大きなメッセージこそが、読者が消費するべき情報です。もしかしたら、その家の土台となる石ころの中には、脆い石ころもあるかもしれません。ここらへんのさじ加減は、「自分がどれほど安心な家に住んでいたいか」によるとしか言えませんが、多少の脆い石ころがあっても多めに見るくらいの態度で書籍を読んでもらえれば大丈夫です。コンセンサスは得られていませんが、個人的には、書籍で引用されてる文献の７０％くらいが信頼できれば、家は崩れないように思います。

また心理学、とくに実験心理学だけに頼らない、学際的な書籍を特に強くお勧めしたいと思います。心理学の特定の実験が再現できなくとも、色々な手法を使って「全体として、一つの主張が支持できる」ことを紹介してくれる書籍が、頑丈な家です。

まあ、たまに、スッカスカの石ころで建てられたひどい家を紹介する本もありますが。。。（Brian Wansinkの本とかSatoshi Kanazawaの本）

また、普段耳にするメディアや、研究者が流す再現失敗の研究や、論文の結論などに、逐一過剰に反応しないでも大丈夫です。科学コミュニケーションを通して紹介される科学の一面は、大体の場合、ひとつの事象（＝石ころひとつ）を紹介してる場合が圧倒的に多く、家全体を紹介してくれる場合は少ないです。残念ながら、研究者たちもなかなか忙しくて、家ごと一つ一つ紹介するのには労力がかかります（また、家の建て方をわかっていない場合もあります）。

それよりも、もう少し広く、長い目で見て、気になる論文があったら著者を検索してみたり、その論文の著者が、書籍や教科書を出版しているかを確認してみてください。よくメディアで紹介される単独の論文は、それ自体はただの石ころですので、その石ころが今後どういう家に貢献していくのかを、少しだけ長い目で見守るのが大事です。

ノーベル経済学賞、カーネマンの書籍を例に

心理学者でありながらノーベル経済学賞を受賞したダニエル・カーネマンの書籍があります。再現性危機の渦中、この本に紹介されているいくつかの心理学実験が再現されず、批判の的となっています。

この本は、38ものチャプター（章）から成っている、とても大きい家です。細かい石ころを見ていけば、不完全な石も存在するでしょう。だからと言って、カーネマンの理論や主張そのものが崩れるほどの脅威ではないと、自分は解釈しています。カーネマンの主張を大きく訳すと「人間の意思決定の思考はシステム１（直感）とシステム２（熟考）に分けることができて、システム１が優勢だが、間違うことが多い。」だと思いますが、この抽象的で一般化できる記述自体は、かなり頑強なものだと自分は思います。

この本で紹介されたどの研究が再現できたのか、できなかったのかについてはこちらのノートの後半でうまくまとまっています。

また、このような一般向けに書籍を書く場合、研究者も「分かりやすく意外な発見」を紹介した方がウケるので、ある程度、目立つ石ころを選別しています。書籍一つでは紹介しきれない、頑丈な石ころも背後にはたくさん存在するかもしれない可能性も、気に留めておくと良いでしょう。

書籍を読む際は、それぞれの石ころは脆い可能性はあるものの、家全体を見る（＝大きな主張を汲み取る）ことを目標に読むことをお薦めします。

石ころではなく、家を見よう

心理学・科学の再現性危機は多くの読者の信頼を裏切るような事件でしょう。しかし、多くの場合は、どの家に属するかもわからない石ころが再現できないことを指しているので、心理学の家全体が崩壊しているわけではありません。また、ここ１０年間の間で頑丈な石ころを磨く技術は確実に向上してきているので、心理学は確実に良い方向に向かっています。そして実際には、立派な家がそこそこ建っているので、安心してください。メディアの紹介を消費する際は、あくまで「家を見る」姿勢を持って、広い目を持って吟味してみてください。

ただ、安心できるのは、実情を詳しく知っている研究者だけかもしれません。これは、研究者がもう少し頑張って、心理学の正しい現状を伝え、正しい解釈の仕方を丁寧に発信していくことが重要だと思っています。

日本での再現性危機の話題で、今まで見過ごされている重大な問題点は、研究者やメディアが家を紹介することを怠っているがゆえに、必要以上に危機感を煽っている状況である、と自分は感じています。心理学の消費者・読者としては、もう少し、楽観的になってください。頑丈な家もたくさんありますので、心理学は大丈夫です。

再現性が問題であり、心理学の信頼が下がっているのは言うまでもないです。自分も危機感を持って研究を行っています。今回の記事は、再現性危機そのもの価値を過小評価するものではないことをご理解ください。今回の意見はまだ研究者からコンセンサスが得られてる訳ではないです。もしも研究者の中で、このアイディアは悪くない、もう少し発展させて発信してけそうだと思っていたら、個人的に連絡ください！

Kruglanski, A. W. (2001). That" vision thing": The state of theory in social and personality psychology at the edge of the new millennium. journal of personality and Social Psychology, 80(6), 871-875.

Kruglanski, A. W. (2004). The quest for the gist: On challenges of going abstract in social and personality psychology. Personality and Social Psychology Review, 8(2), 156-163.

Muthukrishna, M., & Henrich, J. (2019). A problem in theory. Nature Human Behaviour, 3(3), 221-229.