1. はじめに

"Retire statistical significance （統計的有意にサヨナラ）" という Nature の論文を読んだ。分野の関係上 Nature はあまり読まないのだけれど、検索していて面白そうだったから目を通す。

3ページなのですぐに読めるし（社会科学系の論文は概ね20ページ前後が主流という感覚）、このくらいだと負担が少なくてよい。

論文の詳細は以下。

Amrhein, V., Greenland, S., & McShane, B. (2019) Retire statistical significance, Nature, 567, 305-307.

2. 統計的有意とは

この論文を理解するためには、そもそも「統計的有意とはなんぞや」ということを理解しておかなければならない。

例えば、A君が篠原の英語の指導の下、テストで90点をとったとする。
一方、B君は自分だけで勉強し、同じ英語のテストで80点をとったとする。

ここで問題なのは「篠原の指導のおかげで」A君はB君よりも10点高い点数をとれたのか、ということである。たまたまA君の方が点数が良かったのかもしれない。別の英語のテストを受けたらA君の方がB君よりも点数が低くなるかもしれない。B君は、前日に夜更かしをして試験の途中に寝てしまったのかもしれない。

いろいろな要因が考えられる中、本当に「篠原の指導のおかげで」A君の点数はB君よりも高くなったといえるのか。

この問いを解決するための手法が統計学であり、確率を用いてこのような差が生じる可能性がどの程度あるのかを計算するのである。

確率を計算するためには何回も試行する必要がある。コインの表が出る確率は1/2である、といえるのは、何度もコインを投げ続ければこの確率に収束していくからである。

上記のA君とB君の点数の問題に関しても、この二人の結果だけでは確率は計算できない。そこで、「篠原が指導した学生」をいっぱい集め、他方で「篠原が指導していない学生」をいっぱい集める。そしてそれぞれの平均値や標準偏差を計算し、確率的に見て「篠原が指導した学生」群と「指導してない学生」群とで点数に差があるのかを分析する（ここではとりわけ指導した学生の群の点数の平均点が高いのかが焦点となる）。

確率的に見て二つの群に差がある場合を「統計的に有意な差がある」、あるいは「差が統計的に有意である」という。

ここで注意が必要なのは、「差が有意」とは「二つの平均値（ここでは篠原が指導した群と指導していない群それぞれのテストの平均値）が異なっている」ということを意味しない。

そうではなくて、「二つの平均値が等しいとは言えない」、ということを意味している。かなり消極的な意味であり、決して断定的なものではない。

もしかしたら、サンプルを変えると結果が変化するかもしれない。別の「篠原が指導した学生」を同様に集め、他方で「篠原が指導していない学生」を集め平均値を比較したら、今度は統計的に有意な差が確認されないかもしれない。

あるいは、異なるテストで同様の検証をしたら、「篠原が指導した学生」と「篠原が指導していない学生」との間で平均値に差は生まれないかもしれない。

よって、分析の結果に対しては、今回のサンプルを用いて分析した結果、二つの群の平均値は確率的に等しいとは言えないよね、と解釈するのが正しい。

3．まとめ

長くなりそうなのでこの辺でまとめ。

今回の例でいえば、統計的有意とは、確率的に見て二つの群の差が有意であるという意味であって、それは「二つの群の平均値が等しいとは言えない」という意味である。これを間違って、「二つの群の平均値は異なる」と解釈してはいけない。そこまで積極的な意味を持っていないのである。

次回は統計的有意を決める条件、すなわち「5%有意」ということについて説明する。

今回の「統計的有意」と「5%有意」ということが分かって初めて""Retire statistical significance （統計的有意にサヨナラ）"の内容が理解できるようになるだろう。

*なお、今回は分かりやすさを強調するため、二つの群間の差に関する事例を用いたが、三つ以上の群間等の差についても同じように有意という表現を用いる。その辺は各自で調べてください。