ノーベル経済学賞 × 教育② ： なぜ「RCT」を用いるのか？
こんにちは。スタンフォードでは、秋学期の授業が終わると同時に早めの雨季に突入し、微妙な天気が続いています（タイトル画像は先月のものです）。「常夏」のイメージのある西海岸ですが、ベイエリア（サンフランシスコ湾岸地域の総称で、スタンフォードも含まれます）は、冬は雨。。。
昨冬は１～３月の間ほぼ毎日雨でしたし、コートが要る日も多かったです。まあ、バケーションに来ているわけではないですし、春～秋はイメージどおりカラッとした晴れの日が続くので、全然いいのですが。笑
さて、前回予告したとおり、今日は、「教育」のフィールドでのランダム化比較試験（Randomized Controlled Trial = 「RCT」）の限界、RCTがうまくいく／いかない条件などについて書きたい…と思ったのですが、
「そもそもなぜRCTが、ノーベル経済学賞を取るほど注目されているのか」
ということを先に書かないと意味がないと思ったので、そちらをまとめました。（RCTとは何か、ノーベル賞との関係などは以前の記事の「功績その１」をご覧ください！）
教育大学院ラウンジの庭です。今年は紅葉・黄葉もまばらでした。
ソーシャルサイエンスにおける「分析」とは
さて、開発経済の分野で、
「援助は国をダメにする」
vs
「援助がなければもっと酷いことになっている」
「今の援助は量が不十分」
といった水かけ論から離れて、国際開発の現場で詳細な分析を行ったのが、今年のノーベル経済学賞の受賞者の功績…という話は以前しました。では、その「詳細な分析」は、必ずRCTでなければならないのでしょうか。
これに答えるためには、そもそも、アカデミックな「分析」とは何ぞや、という話をしないといけません。ソーシャルサイエンス（社会システムやその中での人のふるまいを研究する学問）における「分析」の手法はたくさんありますが、「統計学」は、その大きな柱の１つです。
統計学にお詳しい方は異論反論あるかもしれませんが、専門用語を使わずに言うと、「ある（珍しそうな）できごとが観察された時に、以下の質問に答えること」を目指すのが、統計学です。
①観察した対象が、特別だからじゃないの？
②（実は）よくあること／たまたまじゃないの？
「あの国の人はよく肉を食べる」とか、「あの職場は体育会系出身の人が多い」とか、社会の中でのふるまいなら、どんな「できごと」でも対象になります。逆に、みんなが当たり前だと思っているできごとが、実は珍しい・勘違いであることをデータで覆す、というパターンもありますが。
この発展形として、「『たまたま』とは言えないレベルで、２つのできごとAとBがつながりあっている」ことを示すのも統計学です。
そして、通常は、ただ「つながっている」と示すだけでなく、少なくとも以下の２つの質問に答えられないと、論文になりません。
③ほかの要素が「つながり」を作っているんじゃないの？
④２つは原因と結果（因果関係）なの？つながっているだけ（相関関係）なの？
具体例として有名なものに、
できごとA：一人当たりチョコレート消費量
できごとB：人口当たりノーベル賞受賞者数
というものがあります。この２つ、「たまたま」とは言えないレベルで「つながり」があるのですが、どちらかがどちらかの原因とは言えなさそうですよね。経済力とか、もっとほかの要素が２つの「つながり」を作っている気がします。この例に興味が湧いた方は、以下の記事をご覧ください。図表入りで分かりやすくまとまっています。
「今あるデータ」を調べる限界
チョコレートとノーベル賞なら、まあ、原因と結果ではないのだろうな…と、すんなり合意がとれそうですが、意見が分かれるものもたくさんあります。例えば以下の例、どっちの説明がしっくりくるでしょうか。
ピアノを習っている人は成績がいい。
（説明１）因果関係（ピアノが原因、良い成績が結果）である。例えば、ピアノは、集中力を鍛えたり、指先を刺激して脳の発達を促したりするので、成績が良くなるのだろう。
（説明２）ただの「つながり」である。例えば、ピアノを習える家庭は豊かであることが多いので、きっと家での教育資源が充実しているのだろう。
少し前には、これは「因果関係」だ！という論文も公表されました。いわく、同じくらい経済的に豊かな生徒どうしを比較してもなお、楽器をやっている方が成績の伸びがいい、とのこと。
しかし、説明の仕方はほとんど無限にあります。例えば、楽器の先生が多く集まるエリアは、地域全体で子供の教育がそもそも盛んなので、経済的に同じくらいの水準でも、成績にいい影響が出るのかもしれません。あるいは、そもそも成績がいい子が、親に「楽器を習いたい」と言い出せるだけなのかもしれません。
大事なところなので繰り返しますが、ここで問題なのは、つながりが「あるか」「ないか」ではありません。現実として、アメリカでの調査によれば、楽器を習っている子は、傾向としては、成績がいいようです。現実として、チョコレートの消費量が多い国ほど、ノーベル賞受賞者を多く輩出しています。そして、こうした「つながり」は、「たまたま」にしてはできすぎです（これを統計学では「統計的に有意」と言います）。
ですが、その「つながり」が果たして「因果関係」なのか、「観察対象が特別だから」なのか…といったことは、データそのものからは、なかなか分かりません。
そんな中で、「いかに合理的・論理的な説明を示せるか」が、ソーシャルサイエンスにおける研究者の腕の見せ所であり、面白いところでもあります。自分も、修士論文では、「学校当たりの支出と成績に『つながり』はあるのか」ということをまず調べ、その上で、発見した「つながり」が、因果関係なのかどうかなどを考察しました。
…しかし、そうした考察にはどうしても限界があります。この１年３か月で色々な議論を耳にしましたが、だいたいの批判は以下３種類に集約できると思います。
①他の要素が効いている可能性を捨てきれない。
楽器の例で言えば、「経済状況」を考慮すれば今度は「地域の教育力の違いかもしれない」と言われるわけで、キリがありません。そして、ソーシャルサイエンスにおいては、そのうち、測定不可能なものに行き当たります。「大人のやさしさ」「子供の安心感」が最終的な原因かもしれない…という話になった時、アンケートで全て測定できるかというと、なかなか難しいと思います。
②観察対象が偏っている（セレクション・バイアス）
「もともと成績が良くなるポテンシャルのある子が、楽器を始めている」という説明も、可能性論としてはですが、捨てきれません。仮にそうであった場合、そのデータにおいて「その子のポテンシャル」と「楽器の効果」を切り分けることは不可能です。「その子のポテンシャル」を別の方法で完璧に測定できるなら別ですが、いずれ①と同じく、測定不可能なものに行き当たるでしょう。（なお、たまに、「サンプルを増やせばセレクション・バイアスは無くなる」という誤解がありますが、偏った（特別な）サンプルを何十万個集めても、偏りは減りません。）
③原因と結果が逆である可能性を捨てきれない。
上でも書いたとおりですが、成績がいい子が、親に「楽器を習いたい」と言い出せるだけなのかもしれません。
今あるデータを分析している限り、ほぼ必ず、この３つの問題につきあたります。自分の修士論文も、これらの限界を乗り超えていません。
そこで登場したのがRCT
理屈は省略しますが、正しくRCTが行われれば、
・「他の要素が効いている可能性」を最小限に抑えられる。
・「セレクション・バイアス」をなくせる。
・原因→結果の順番が明らかになる。
という大きなメリットがあります。「ありそうな説明」をずっと考え続けるのではなく、データに「原因と結果」のあるなしを語らせて、その上で、「原因と結果の間には何があるのか」といったことに研究者の頭脳を使おう、といった感じでしょうか。加えて、はじめの方で書いた「たまたまじゃないの？」という疑問も検証することができます。
最もシンプルな手順は、
①「原因と結果」を調べたいものを決める。（「楽器」と「成績」など）
②実験対象（「〇〇在住の×年生」など）を、ランダムに２つのグループに分ける。
②片方のグループだけに、効果を検証したい「取組」を与える。（「楽器」「楽器の習い事」など）
④結果（「成績」など）の平均の「差」を測定する。
というものです。グループをランダムに分けることで、「他の要素が効いている可能性」「セレクション・バイアス」を最小化できます。これは本当にランダムである必要があり、例えば「出席番号が奇数の人」などにすると、もし座席が出席番号順であれば、教室の最前列に座っている人が楽器をもらう可能性が高いです。そうすると、成績の変化が「楽器をもらった影響」なのか、「一番前に座った子たちによる影響」なのか、分からなくなってしまいます。（なんと細かい…と自分も思いますが、厳密な実験ということであれば、そういうものです。）また、この手順を踏めば、原因と結果の順番は明らかです。
なお、RCTの他にも、ソーシャルサイエンスの分野では、因果関係を考えるために、様々な手法が開発されてきました。もしご興味ある方いれば、以下を検索してみてください。
・回帰分析（Regression Analysis）
・固定効果（Fixed Effect）
・差分の差分法（Difference in Differences）
・傾向スコアマッチング（Propensity Score Matching）
・回帰不連続デザイン（Regression Discontinuity）
・操作変数法（Instrumental Variables）
・自然実験（Natural Experiment）
名前だけで検索する気をなくした方、、、お気持ちは分かります。が、画像検索などだと、意外と直観的に分かりやすい図が出てきたりもするので、お時間あればぜひ！笑。
いつでもRCTが必要か？
逆に言えば、「原因と結果までデータで示さなくてもいい」時に、RCTをする必要はほぼありませんし、RCTでなくとも、原因と結果に迫ることはできます。
統計を通じて世の中に大きな影響を与えた分析はたくさんありますが、おそらく最も古典的なものは、イギリスの看護師、ナイチンゲールによる調査だと思います。ナイチンゲールは、「クリミア戦争での死者は、戦闘による負傷より、その後の治療、衛生状態の不備が原因であることの方が多い」ことを発見し、傷病兵の死亡率を大幅に減少させました。
こちらも日本語で分かりやすくまとまっています！
教育大学院ではほぼ目にしませんでしたが、「鶏のとさか」と呼ばれる円グラフをご覧になったことがある方もいらっしゃるかと思います。この円グラフは、まず「月ごとに死者がどう分布しているか」を図にしているのですが、これは、原因・結果論ではありません。あくまで分布です。が、その時代においてとても有意義な考察でした。
そして、「死因」は、RCTを用いなくても、（ナイチンゲールが必要としていた範囲においては）医学的に分類可能です。このように、RCTでなくとも、意義深い調査は世の中にたくさんあります。今年のノーベル経済学賞受賞者らも、RCTしかしていないわけではありません。また、統計はソーシャルサイエンスを支える「大きな柱の１つ」であって、絶対的なものではありません。「質的調査」と呼ばれるものや、哲学など、学問の間口はもっと広いです。
…そして、そもそも、お気づきの方もいらっしゃると思いますが、「戦闘」をランダムに割り当てることは許されません。これと同じ限界は、ソーシャルサイエンスの世界においても常に存在します。性別、年齢、人種、家庭の状況、友人との関係などをランダムに割り当てることは不可能です。
では、医療の例で言えば、「治療法」はどうでしょうか。何が最も有効か調べるためには許されそうな気もしますが、「何もしないグループ」があってよいのか、という問題や、あまりにリスクの大きい取組はどうなのだろう、といった議論があると思います。
医療の専門家ではないので深入りしませんが、教育をはじめとしたソーシャルサイエンスの分野でも、これと同じ議論が、どこの国でも常に存在します。実際に、奨学金をランダムに配るとか、学校をランダムに選ばれたエリアに建てるといったことが過去にいくつかの国で行われていますが、アメリカ人のクラスメイトは「全員に保障すべき権利をランダム化するのはどうなの…」と言っていました。
いっぽう、「そもそも意味があるのか定かでない取組を続けるのは、全員にとってよくない」「コスト面で全員に提供できないなら、ランダム化はむしろフェア」というのも、筋は通っていると思います。
どんな内容が受け入れられるかは、国・地域によってさまざまだと思いますが、１つ重要なのは、「実験デザイン次第」な面もあることです。
どういうことかと言うと、例えば、前回の記事の「功績その１」の末尾で「スピルオーバー」について触れました。RCTによっては、「村の中でランダムに人を選ぶ」ではなく、「ランダムに村を選ぶ」場合があります。これは、村人の立場からすると、不公平感に直結します。「隣の家がなんで」と思う人もいれば、「なんであっちの村だけ」と思う人もいるでしょう。いずれにせよ、実験の精度を高めるためのデザインが、参加者の反発を招いてしまう可能性があります。
つまり、ひとくちにRCTと言っても、デザイン次第で、実行可能性や、メリットデメリットはさまざまです。そして、教育などの分野では、たいてい、上で書いた「最もシンプルな手順」よりも複雑なデザインが必要です。（不公平感をなくすため、とかではなくて、そもそも実験として意味があるものにするために、です。）
したがって、きちんとRCTの限界、うまくいく／いかない条件を押さえないと、
・意味はあるが誰も参加しない調査
・参加者はいるが意味はない調査
のどっちかになりかねません。
ということで、次回は、そんなトピックについて、実際の例も交えながらお伝えできればと思っています！（別にRCTのネガティブキャンペーンを張りたいわけではなく、「意味のないRCT信仰」「RCT万能論」に自分自身が陥らないようにしたい、という趣旨での、備忘録です。笑）
最後までお読みいただいてありがとうございました！！
twitterもよければフォローお願いします。
※このアカウントにおける投稿は、すべて個人の意志、認識及び責任に基づいてなされるものであり、スタンフォード大学をはじめ、所属する／していた組織の見解を代表するものでは一切ありません。
※調査研究の内容を引用・紹介される際は、原典にあたっていただきますようお願いいたします。