「このTVCMは売上アップに効果があります」
「このサプリは体脂肪を落とす効果があります」
「笑いは寿命を伸ばす効果があります」

というような主張は、あちこちで見られますが、この「効果がある」
の意味をきちんと理解していますか？

中には、とんでも科学や、データを操作して、それっぽく見えるようにしている場合もあるので、騙されてしまうこともあります。
多分、多くの人は数字を示されると、そのまま信じてしまいますよね？それは、統計リテラシーを身に着けていないからだと思います。

空き巣に入られないようにするには、空き巣の手口を知っておく必要があるように、
数字やデータに騙されないようにするのは、騙し方を知っておいた方がいいと思ったので、そういった話をしていきます。

直感的な理解を重視するために、数式は一切でてきません。

動画で確認した方は↓こちら↓から

ということで、今日は、「科学的に効果がある」について、
それってどういうことなのか、お話ししていきます。

例えば、論文などで、「これは効果があります」主張をする時にも、
ほぼ100％統計的な妥当性をしめす必要があります。

「効果がある」と言っていいかどうか、
統計的な指標を、論文の中に提示しないといけないということです。

基準に使う指標としては、主に2つ。

・効果量
・有意確率

この2つです。

数字が出てくると飽きちゃうと思うので、
直感的に理解できる概念の部分だけお伝えします。

まずさっくりと用語の意味をお伝えすると、
・効果量
→効果の大きさ

・有意確率
→その差が誤差である確率

こんな感じです。

例えば、あなたが社内の企画で、A案とB案、どちらを採用しようか、
アンケートをとって決めようとします。

あなたには部下が二人います。

田中くん（なまけもの）
鈴木さん（まじめ）

この二人に、「アンケートを取って来てくれ」と頼みました。

それぞれアンケートを取って来てくれました。

田中くん：
5人に聞いた→3：2でA案でした。
その差、1.5倍です。
この差の開きが効果量です。（厳密にはちょっと違いますが、AとBの差の大きさ＝効果量と思ってもらって問題ないです）

鈴木さん
50人にアンケートを取ってきました。
20：30でB案でした。
その差、1.5倍です。（田中くんと結果と一緒）

田中君が5人にとったアンケート結果では、Aが多く
鈴木さんが50人にとったアンケート結果では、Bが多い、という結果になりました。

この時、上司であるあなたは、この二人のどちらのアンケート結果を信用しますか？

多分、鈴木さんの結果じゃないですか？

なぜなら、田中君は5人にしかとってないけど、鈴木さんは、50人に取っているので、なんとなく信用できそうですよね？？

統計センスを身に着けるうえで、この感覚が大事です。
データが多いほうが信用できる、と思う感覚ですね。

田中君の5人で3：2でA案が多いというのは、
その差って誤差の範囲なんじゃない？と疑いますよね？

統計学では、「誤差の範囲である確率」を計算します。
これを有意確率といいます。

AとBの差は、統計的に意味のある差なのかを検証するためのものです。

「統計的に意味がある差」のことを「有意差」と言います。

（※優位と間違える人が多いので注意しましょう）

「これは効果があります！」という主張を自信をもってしたい時には、
調査結果を統計解析にかけて有意確率を確認します。
その時、有意確率は、大きい方が嬉しいですか？小さい方が嬉しいですか？

有意確率って、誤差である確率のことなので、小さい方が嬉しいです。
慣例的には、5％未満だといい、とされています。

有意確率が5％とでたら、「AとBの差が誤差である確率が5％」という解釈をします。逆にいえば、「AとBの差が誤差ではない（何か意味があって必然的にそうなった）確率は、95％だろう」というように捉えてOKです。

有意確率の計算には、効果量とサンプルサイズを使います。
サンプルサイズは、データ数のことです。

有意確率（誤差である確率）は
サンプルサイズが大きいほど（データ数が多いほど）、小さくなります。

つまり、データをたくさんとったものの方が、誤差がない、つまり信用できる結果だろう、って判断するということです。

ということで、今回は、さらっと、効果量と有意確率について解説しました。

「科学的に効果がある」というのは、効果量と有意確率をもとにしているんだな、ということを覚えておいてください。

ただ、なかには、この原則を無視して、「効果がある」と主張するような、とんでも科学や、それっぽい感じにデータを加工して、有意確率を操作するようなこともありますので、そのあたりは、また別の記事で解説していきたいと思います。