1. はじめに

前回は"Retire statistical significance （統計的有意にサヨナラ）" という Nature の論文を読んだことから、統計的有意とは何かについてまとめた。

今回は「5%有意」ということに関してである。統計学をかじれば「〇％有意」という言葉を聞いたことがあるはずだし、有意かどうかが結果を解釈するうえで重要になると教えられてきているはずだ。

自分も論文のResult に関しては、本文を読むのではなく、Table を見てどの変数が有意となっているのかどうかをまずは確認する。そしてそれに基づいて著者らがその結果をどのように解釈しているのか理解するようにしている。

ここでは有意水準についての説明を試みる。

2．有意水準とは

有意水準とは、仮説検定において帰無仮説を棄却すべきか否かを決めるための判断基準だと思ってもらえばよい。

前回のテストの例をもう一度考えよう。

問題：篠原が英語を指導した学生（100人）の英語テストの点数は平均で90点であった。一方、篠原が英語を指導しなかった学生（100人）の英語テスト80点であった。この場合、篠原が指導した方が学生の英語のテストの点数は高くなるといえるだろうか？

上記の問題より、以下の仮説を導き出そう。

帰無仮説：篠原が英語を指導した学生と指導しなかった学生との間に英語テストの点数の差は存在しない。

対立仮説：篠原が英語を指導した学生の方が指導しなかった学生よりも英語テストの点数は高い。

統計学では、上記のように二つの仮説を立てる。帰無仮説は棄却されることを期待されている仮説であり、対立仮説は本当に知りたい関係性に関する仮説である。なぜ対立仮説だけ用いることができないか、というと、統計学では対立仮説を直接証明できないからである。

これが、前回も述べた、統計学が「消極的な意味」しか提示できない、という意味である。そして、帰無仮説が棄却できるか、つまり、「篠原が英語を指導した学生と指導しなかった学生との間に英語テストの点数の差は存在しない」といえるのか否かを判断する基準が有意水準である。

「5%有意」とは、「帰無仮説が正しいという前提の下では、5%でしか起こりえないことが実際に起こっている」ということを意味する。そしてその結果、帰無仮説が間違っていて対立仮説を信じる方が正しそうだ、ということになるのである。

そして、これが「1%有意」となれば、帰無仮説が正しいという前提の下では、1%でしか起こりえないことが実際に起こっている、ということを意味するのである。

3．「5%の有意水準」を用いることの意味

研究者は論文で実証分析をする際、5%の有意水準かどうかを気にする。実際、論文の結果においても一目でわかるように、5%有意の場合は "*" を、1%有意の場合は "**" とつけるのが慣例だったりする（もちろん違う場合もあるが）。

自分も学生に論文の読み方を指導する際は、「自分で計算式など書けるようになる必要はないから、"*" （お星さま）を探せ」と指導している。それが学生にとってわかりやすいからだ。

では、5%有意水準とは、結局どういうことを意味しているのか、というというと、自分の師匠である慶應の岡本先生が1984年の論文に書いていたりする。もちろん、自分は先生から直接どういうことなのかの説明を受けているわけで、その説明が非常にわかりやすいのでここに書いておこう。

まず、5%有意、ということは「帰無仮説が正しいという前提の下では、5%でしか起こりえないことが実際に起こっている」わけだが、これをよく考えると「5%程度の確率で、そのことが実際に起こりうる」ということを意味しているととらえることもできる。

つまり、もしかしたら「帰無仮説が正しい」にも関わらず、それを棄却してしまう確率が5%はあるよ、ということを意味するのである。100回に5回は間違った解釈をしてしまうかもよ、と言い換えてもよいかもしれない。

これが10%の有意水準で仮説検定しているのであれば、100回に10回は間違った解釈をしてしまう（間違って帰無仮説を棄却してしまう）可能性があり、1%有意水準であれば100回に1回は間違っているかもしれない、ということを意味するのである。

そして、先にも述べた通り現在では5%有意ということが広く浸透しているわけで、これは、「100回に5回、つまり20回に1回くらいは間違った解釈をしてしまう」ことが、許容範囲であることを意味している。

つまり、「篠原が英語を指導した学生と指導しなかった学生との間に英語テストの点数の差は存在しない」という帰無仮説が5%水準で棄却されたということは、20回に19回は「本当に篠原が指導したおかげで学生の英語の成績が向上するかもしれない」といえるので、とりあえずそっちを正しいと考えましょう、ということを意味する。

あるいは、「篠原が英語を指導した学生と指導しなかった学生との間に英語テストの点数の差は存在しない」ような状況は20回に1回しか生じない偶発的な状況であるから、「篠原が指導した学生の方がそうでない学生よりも英語のテストの点数が高い」と解釈しましょう、と意味づけることもできる。

4．おわりに

ここまで読めば、統計的有意、ということの意味が少しわかってきたかもしれない。そして、なんとなく「統計的有意にサヨナラ」と言いたくなる理由もわかってきているかもしれない。

次回はいよいよ論文の批判点についてまとめる。

Reference
岡本大輔 (1984) 「経営学研究における統計的有意性検定」『三田商学研究』27(5), 1-12.