1. はじめに

前回、前々回とNatureの論文に関して述べるために、統計的有意とは何か、5%有意水準とは何なのかを説明してきた。

今回はいよいよ本題。統計的有意、という基準への批判について述べる。

論文は以下のもの。

Amrhein, V., Greenland, S., & McShane, B. (2019) Retire statistical significance, Nature, 567, 305-307.

2. 統計的有意の意味をちゃんと理解していない研究者

Nature に掲載された批判を見てみると、研究者が統計的有意の意味をちゃんと理解していない、あるいは統計的有意に関する解釈の仕方が間違っているという点が挙げられる。

とりわけ、批判の一つとして書かれていたのは「有意か否か」という二項対立で考えてしまうことである。

何度も取り上げてきたテストの事例をここにもう一度記載しよう。

問題：篠原が英語を指導した学生（100人）の英語テストの点数は平均で90点であった。一方、篠原が英語を指導しなかった学生（100人）の英語テスト80点であった。この場合、篠原が指導した方が学生の英語のテストの点数は高くなるといえるだろうか？

二項対立で考える、ということは「篠原が指導することによって学生の英語のテストの点数が有意に高くなるといえるのか」ということだ。つまり、高くなるかどうかを「有意・有意じゃない」、という点で考えてしまうことだ。

著者らは統計的有意は効果の大きさや程度を推測するうえで大きく見積もってしまう一方、統計的に有意でない場合はこれらを低く見積もってしまう傾向にあると指摘する。つまり、効果の過大・過小評価がなされてしまうのである。

だとするならば、二項対立的思考によって効果を解釈しようとすると、有意だとその効果が存在していると考える傾向が強くなり、逆に有意でないと関係性が存在しないと考える傾向が強くなってしまうだろう。

しかし、前回の記事で取り上げたように、統計学は二つの変数間に意味のある差があるかどうかを積極的に解釈する結果を導き出すことはできない。

あくまで得られるのは確率的にこちらの方が高そうだから、暫定的に○○という関係性があると仮定しましょう、程度の消極的解釈だけである。

つまり、有意だからと言って必ずしも二つの変数間に意味のある差が存在しているとは断定できないし、有意でないからと言って二つの変数間に意味のある差が存在しないと断定できないのである。

にもかかわらず、有意であるかないかに一喜一憂し、その正しい意味を理解していない論文が多すぎる、というのが筆者らの言いたいことらしい。

3．おわりに

統計学は今やソフトウェアがあればその知識なしに分析が可能になってしまっている。博士論文を書いた教員の中にも、自分で分析を理解せずに他人に任せて学位をとった人も少なからずいるようである。

そしてそのような人々が良く理解していないまま実証論文を研究者として書き続けるのであれば、それは害悪以外の何物でもない。

実際、論文を読んでいると「この分析でよいのかな」ということはたまにある。また、昔の論文であればあるほど、「ちゃんとコントロールできてないな」とか、「解釈がおかしいな」と思うことが少なからずある。

統計学は非常に有効な手法であるし、データサイエンティストの必要が叫ばれている昨今では必須の知識といえる。それゆえ、その知識を正しく身に着けてほしいと思う。

もちろん、数字が苦手、という人は論外であるが。