こんにちは。
『効果検証』を扱う機会があり、
改めて間違った効果検証が多いと感じたので、
自分の理解の整理を含め、記事にしたいと思います。
間違っている内容などあればご指摘いただけると嬉しいです。

総論

なにか打ち手を打ったとき、「効果がどうだったのか」ということはよく議論に上がります。
「広告を出したことで売上が上がりました。」
「補助金を出したことで企業の業績が上がりました。」
などの表現はよく耳にします。
これらは一般的に「広告を出す前と出した後の比較」や「補助金を受けた企業の業績と補助金を受けなかった企業の業績」などを比較した結果として述べられることが多いです。
しかし、実はこういった効果検証は、バイアスのかかった結果であり、誤った効果検証といえます。
よくあるバイアスとして、

• サンプリングバイアス

• 交絡因子の存在（厳密にはバイアスとは表現しませんが）

• 疑似相関の存在（厳密にはバイアスとは表現しませんが）

があります。
特に多いのがサンプリングバイアスです。
サンプリングバイアスとは、
『効果検証を実施する際の対象となるグループが非ランダムに選択されることによって生じるバイアス』
です。
正しく効果検証をするためには、このバイアスを除去し、因果関係を示す必要があります。
そこで実施される手法として最もエビデンス力が高く、ポピュラーな手法がランダム化比較実験（RCT）です。
今回の記事では、

• 誤った効果検証はどこが誤っているのか

• 正しい効果検証のためにはどのような条件が満たされる必要があるのか

• RCTとはどのような手法か

といったことを紹介したいと思います。

おすすめ書籍

効果検証でおすすめの書籍を３点紹介します。
いずれも難易度は高くなく、理解しやすいものになっています。

難易度の低い順になっています。
１冊目と３冊目はRを用いた手法の紹介をしており、読みながら手を動かすことができ、理解が深まります。
２冊目は回帰分析を用いた効果検証をメインに紹介しています。

間違った効果検証でよくある事例

前後比較ではなぜ誤っているのか

前後比較とは、「広告を出す前と出した後の比較」した結果、広告実施後に増えた売上を成果として解釈する方法です。
しかし、これは本当に広告の効果と言えるでしょうか。
広告実施前と実施後で広告以外の要因がすべて同じであれば確かにそう言えそうです。
しかし、現実には、

• 世の中全体（または業界）で売上が上がっている（景気が上向きなど）

• 広告以外の要因で売上が上がっている（他の打ち手も同時に行った）

• そもそも売上は増加傾向にあった（広告しなくても同規模の売上になった）

などの原因が考えられそうです。
こういった影響があることを否定できない場合、売上増加のすべてを広告効果というのは過大評価と言えそうです。
これは、広告を実施したグループのみで評価をすると、広告を実施したグループという非ランダムに選定された群のみでの評価となっているため、サンプリングバイアスが生まれてしまっているということです。

介入群と非介入群の比較ではなぜ誤っているのか

介入群と非介入群の比較とは、「補助金を受けた企業の業績と補助金を受けなかった企業の業績」を比較した結果、補助金を受けた企業の方が業績がよくなったため、補助金効果があったとするものです。
これについても補助金を受ける前後で差がないと仮定した場合には、正しく評価できていると言えそうです。
しかし、現実には、補助金というのは申請をして受け取るものであるため、申請をした企業と申請をしなかった企業（または申請を受けられなかった企業）で受ける以前からグループ間に差があります。
申請をした企業というのは補助金などの情報をキャッチアップしており、申請を受けるために客観的に認められるような経営計画を立てていると考えられます。（ものづくり補助金や事業再構築補助金など経営計画を立てることが前提となっているものも多いです。）
これだけでもグループ間に差があるというのは頷けると思います。
この差があるということはサンプリングバイアスが生じているということになります。

正しい効果検証とは

バイアスを取り除くこと

上記の例ではいずれもサンプリングバイアスが生じてしまっていました。
それでは、どうすれば正しい効果検証ができるかというと、このバイアスを取り除くことです。
効果検証とは平たく言うと、『如何にバイアスを取り除くか』ということにつきます。
そもそも効果検証の理想とは、同時点における広告を実施した場合と実施しなかった場合とを比較をすることです。
しかし、これはタイムマシンでもない限りは現実で観察することができない状況です。こういった現実では観察することができない状況のことを統計学では反事実と表現します。
この反事実の状況を作り出すことができれば、バイアスのない正しい効果検証ができるというのが効果検証の考え方です。
そして、この正しい効果検証を行うために用いられるのがランダム化比較実験（RCT、ビジネス用語ではABテストとも言う）です。

ランダム化比較実験（RCT）とは

RCTとは、介入群と非介入群をランダムに選択してその差を比較することをいいます。
これがなぜ、正しい比較となるのかというと『ランダムに』に選択されているためです。
例えば、広告効果を知りたい場合であれば、ランダムに広告を実施するエリアと広告を実施しないエリアを選定し、その差を比較するというものです。
なぜ『ランダムに』選定したグループ間での比較で反事実を観察できるのかというと、ランダムに選定することでそもそもの状態を平均化することができるためです。
つまり、選定した結果、介入群と非介入群とで平均値に差がない状態となっている必要があるというのがRCTを実施する際の最低限度の必要条件となります。
そして、この平均値差がない状態をつくる必要があるということはそれぞれの群に選定されるサンプル数をある程度用意する必要があるということです。
そのため、全部で２店舗しかない状態ではその２店舗のうち一方をランダムに選定してもRCTを実施することはできません。
このようなRCTの問題を解決する手法として自然実験手法というものがあります。

おわりに

今回は、効果検証を扱う機会があったため、理解の整理を含めて記事にしてみました。
RCTの問題を解決するための自然実験手法についても紹介したいと思っていましたが、長くなってしまったため、また次回に記事にしたいと思います。
それでは今回はここまでにしたいと思います。

おしまい。