今年もノーベル賞の季節が来ましたね。今年はMITのバナジー教授・デュフロ教授とハーバードのクレマー教授がノーベル経済学賞を受賞しました、おめでとうございます。授賞理由は、開発経済学におけるフィールド実験によって、貧困と戦うための知を切り開いたという点にあります(より詳しい授賞理由はこちら)。このお三方の功績は国際教育協力をやっていれば本当に日々実感する所であり、それはこのお三方がこの賞をいつか受賞しなければおかしいレベルだったので、選考委員会は良い仕事をしたなと思います(余談ですが、デュフロ教授のTEDトークは素晴らしいので、ぜひ見てみて下さい)。

高くて儲かるRCTが氾濫を起こす

ですが、タイミングとしては割と最悪だったように思います。それはなぜかと言うと、今現在この実験アプローチ（主流はRCTなので、以下RCT）が国際協力（日本を除く、重要なので二度言いますが、日本を除く）で氾濫していて、それを悪化させるのではないか、という懸念があるからです。

RCTの特徴の一つに、高いコストが挙げられます。わざわざ途上国まで出向いて、プロジェクト実施前にデータを取って、参加者（学校だったり、村だったり、個人だったりするので「者」という表現も変ですが）をランダム化して、またデータを取るわけですから、高いコストがかかるのは想像に難くないと思います。具体的にどの程度いくかというと、ある程度の規模のRCTであれば、自前のプロジェクトが多くはないような小規模から中規模程度のユニセフのオフィスの、教育部門の予算の1年分を上回ります。

そして、この高いコストが局地的にRCTの資金がジャブついている理由ともなっています。一般的に国際機関がプロジェクト評価をする時には、第三者に依頼するわけですが、この第三者の取り分はオーバーヘッドと呼ばれ、プロジェクトの額に対してX%をかけたものになります。つまり、プロジェクト評価のコストが大きいほど、第三者の実入りも良くなるというものです。オーバーヘッドを無視しても、大きなプロジェクト程人件費を大きくしやすいので、受注側としては儲けやすいのですが。

これだけだと、なぜ資金が局地的にジャブつくのか分からないと思いますが、モーメンタムを持つ儲かる場所にはロビーイングありです。

プロジェクト評価は、あるプロジェクトがどういう結果を導いたのかを知るものなので、RCT程はコストがかからない他の因果推論の方法（IV, DiD, RD, and Panel）が実施可能であれば、これらでもそこまで悪くはないんですよね（※RCTと比べると、やはり仮定が強くバイアスが入りやすい、推計がノイジーになりやすいといった点があるので、コストを度外視すればRCTがベストなのは間違いないですし、米国の少人数学級に関する研究で、この点が示されていました）。

しかし、国際機関の本部で勤務していると、因果推論を理解していないほぼほぼ全てと言ってよい国連職員やドナーに対して、RCTじゃないとダメなんだ、とロビーイングしている団体達の存在に気が付くはずです（そもそも因果推論を理解していないので、一般的な国連職員にとっては、よくあるアドボカシー程度にしか映っていないと思われますが）。

この結果、ドナーはエビデンスという誰もが良いものだと思ってしまう錦の旗の下、というかジャーゴンの下にRCTにジャブジャブお金をつけるようになっていますし（DFIDのValue for Moneyなんかは分かりやすいと思います。あれも、現場の職員はVfMとは何ぞやというのを理解していないので、費用対効果ではなく安物買い競争になっていて酷いものですが…）、援助機関も積極的にRCTを実施するようになっています。

まあ、現場の職員からしても、お金を取ってこないと誰かのクビを切らなければならなくなるので、お金が付くところに注力してしまうのは仕方がないと言えば仕方が無いのですが。

これにより、現在ではRCTが局地的に氾濫を起こしていて、「RCTをする資金は付いたのですが、何かすることありませんか？」と営業にやってくる人を見かけるようになりましたし、Comparative and International Education Societyに行くと、資金が付いたが故に本当にしょうもない事でRCTをしてその結果を発表している団体・NGOをよく見かけます。

「しょうもない」RCT

少し「しょうもない」について解説もしておきましょう。ノーベル賞を受賞された先生方が実施したRCTは、それを実施して新たな知を得ない事には局面が切り開かれないというものばかりでした。それに対して、「しょうもない」RCTというのは、先行研究を読めばわかるうえに、追試をする必要もないようなことを、わざわざ高いお金をかけて、先行研究と変わらない結果を出している物を指します。例えば教員研修のRCTは、CIESや他の教育系の学会でもよく見かけて、カスケード方式の教員研修は上手くいきませんでしたみたいな発表をしていますが、カスケード方式は研修を通じて伝えなければならない情報が伝言ゲームになるので、カスケードの段階が増すほど効果は落ちる、なんていうのはずっと昔から分かっていることで、それを今さらRCTで追試して同じことを発見するというのは、リソースの無駄でしかありません。似た事は現金給付の分野でも見られて、ユニセフの研究部門がRCTを用いた現金給付の研究を進めていますが、国際機関が実施するにしては、正直言ってメキシコで実施された条件付き現金給付の研究結果で十分で、新たにやる必要はないだろうと感じられます。

世銀にいた時に、幹部候補生試験の担当官にinformation interviewをした時に、「教育分野のやつはマジで勉強しない」と文句を言われましたが、国際教育協力でのRCTの氾濫を見ていると、それから10年以上経ったけど、やはり教育分野の人は他分野の人と比べて勉強を全然していながために、しょうもないRCTを通じて車輪の再発明を繰り返し続けているなと感じます。まあ、エビデンスエビデンスと無批判に有難がる多くの国連職員にもこれはそのまま当てはまりますが。モーメンタムを持つ儲かる場所にロビーイングあり、というか援助貴族は貧困に巣食う、というのは何も評価や教育分野に限った事ではないので、新たなジャーゴンやモーメンタムが出てきたら常に疑ってかかるぐらい、もっとしっかりとしてもらいたいものです（自分が体験したわけではなく、本部勤務の際に聞いた話ですが、最近話題の環境問題の分野ですらそういった存在があります。そのカラクリを聞いた時は、自分なんか足元にも及ばない天才がいるものだなと思いました）。

援助貴族は貧困に巣食う

RCTは倫理的に問題があるとよく言われます。しかし、実際の所、RCTには様々なやり方があり、時間差を利用するなど、ランダムにトリートメントを受けられないという倫理的な問題を最小化するための努力や改善が日々為されています。むしろ、今日においてはRCTの倫理的な問題は無作為にトリートメントを受けられない事よりも、このリソースの無駄遣いの方が大きくなっていると感じます。

RCTを推進して、実際にその実施を請け負っている存在達に支払う人件費は、1人当たりでも月に100万円を超えてきます。もちろん、RCTの実施など一人でできる訳がないので、月収100万を超える人達を何人も使うことになります。そして、その人達は往々にしてビジネスクラスのフライトで優雅にフィールドにやってくるわけです。その援助貴族たちの懐に入るお金は、本来、途上国の貧困にあえぐ人たちが受け取るはずだったものです。なんなら現金給付は効果が高いし多岐に渡るというのは既にRCTで分かっているので、しょうもないRCTをやるぐらいならフィールドで現金のバラマキをやった方がよっぽど効果的なようにも思われます。

ないしは、私が実施していた統計のキャパビルプロジェクト（Web-basedのシステムを構築して、それを使いこなせるように地方と中央の教育行政官をトレーニングして、地方の教育事務所にPCとソーラーパネルを配布して、etc.）の総予算がそれなりの規模のRCT1.5回分程度でしたが、StudentやSchool IDを用いた強固なadministrative dataを整備すれば、DiDやRDのようなもう少しコストのかからない因果推論の実施可能性も高まるものですし、RCTでは出来ないモニタリングの機能を果たすことも出来ます（教育行政官が研修によって算数に強くなると、南アや別のセクターに頭脳流出するという課題は残されたままでしたが。。。）。

そのRCTが貧困に巣食う援助貴族を利しているだけではないのか、しょうもないRCTになっていないかチェックするためにも、RCTが行う費用対効果分析、それの費用対効果分析が必要なのかもしれませんね。

RCT自体は必要だし、ノーベル賞の授与は完全に妥当

こう書くと、なんだRCTは高い上に援助貴族の巣窟なのかと思われるかもしれませんが、私はRCTの肯定派ではあります。今現在、途上国における幼児教育や障害児教育の研究をしていますが、1990年からずっと国際的に普遍的な初等教育が念仏のように唱えられてきたため、これらの分野は研究どころか、データもそもそもないという状況になっています（実際に今回のノーベル賞受賞者の先生方も、教育に関しては基礎教育レベルでの実験アプローチが主流です）。このため、intuitiveにもcontradictingなものがいくつもいくつもあり、これをRCTを使って解明しないと、最もmarginalizeされている子供達や、最も重要な教育段階への効果的かつ効率的な支援が出来ないという状態です（データが無いので、他の因果推論の方法をそもそも用いられない…）。

このように、RCT自体は必要かつ素晴らしいものですし、ノーベル賞を受賞された先生方が実験アプローチで明らかにした知は、当時は現在の幼児教育や障害児教育並みによく分からなかったもので、現在では途上国の教育問題に取り組むために欠かせないものとなっています（短期契約の教員の話の様に、知の受け手側に問題があって、無茶苦茶な状態になってしまっている物もありますが、これもRCTや先生方に問題があるのではなく、不勉強な国連職員などの問題です）。

ただ今回の授与は、「しょうもない」RCTが氾濫してしまっている今じゃなくても良かったのにな、氾濫が収まってむしろモーメンタムが必要になった時に授与してくれたらよかったのにな…とは思います。むしろ、絶対にノーベル賞受賞間違いなし＆デュフロ教授の指導教官であったアングリスト教授（分野は因果推論）よりも先にデュフロ教授が賞を取ってしまわれたので、師匠であるアングリスト教授がひょっとして受賞できないのでは？などと心配になってしまう順番でしたよね。

さてさて、今回の授与により、しょうもないRCTの氾濫は今後どうなっていくのでしょうか。まあ、その前に、明日の計量経済学の中間試験の心配をした方が良いのですが。。。

（追記）

そういえば、NGOのブログの方で教育分野におけるRCTについて去年解説していたのでリンクを貼っておきます。

意外と難しい教育セクターでのランダム化比較試験(RCT)の実施

エビデンスに基づく政策のためのランダム化(RCT)のような実験は、言うほどには教育セクターで必要ないかもしれない話