仮説検定はどんな問題を考える？

仮説検定はどんなことを考えるのか。
・〇×クイズに10回中8回正解した人は学力があるといえるか。
・100回中70回表が出たコインはフェアなコインといえるか。
・30人中21人がyesと答えたアンケートは信頼できるか。
など、偶然起こったことなのかどうかを判断する手順を仮説検定という。次の問題を通して仮説検定の考えを学んでみよう。

例題１

ある飲料がビールか発泡酒かを当てられるという豪語する人がいる。本当かどうか気になるので、目隠しして飲んでもらってどちらかを当ててもらった。この人は10杯を飲んで8回当てることができた。この人はいい気になって、「自分は10回中8回も当てられたので、本当にちがいがわかるんだ。」というが、信じていいのか。あてずっぽうで答えて8回当たっただけではないのか。数学的に考えてみよう。

あてずっぽうなら

あてずっぽうで2択の問題を答えて10回中8回当たる可能性、すなわち確率はどれくらいあるだろうか。反復試行の確率を利用して計算してみる。
10回中ちょうど0回正解する確率は　$${_{10}C_0(\frac{1}{2})^0(\frac{1}{2})^{10-0}\fallingdotseq0.1}$$%
10回中ちょうど1回正解する確率は　$${_{10}C_1(\frac{1}{2})^1(\frac{1}{2})^{10-1}\fallingdotseq1}$$%
10回中ちょうど2回正解する確率は　$${_{10}C_2(\frac{1}{2})^2(\frac{1}{2})^{10-2}\fallingdotseq4.4}$$%
10回中ちょうど3回正解する確率は　$${_{10}C_3(\frac{1}{2})^3(\frac{1}{2})^{10-3}\fallingdotseq11.7}$$%
10回中ちょうど4回正解する確率は　$${_{10}C_4(\frac{1}{2})^4(\frac{1}{2})^{10-4}\fallingdotseq20.5}$$%
10回中ちょうど5回正解する確率は　$${_{10}C_5(\frac{1}{2})^5(\frac{1}{2})^{10-5}\fallingdotseq24.6}$$%
10回中ちょうど6回正解する確率は　$${_{10}C_6(\frac{1}{2})^6(\frac{1}{2})^{10-6}\fallingdotseq20.5}$$%
10回中ちょうど7回正解する確率は　$${_{10}C_7(\frac{1}{2})^7(\frac{1}{2})^{10-7}\fallingdotseq11.7}$$%
10回中ちょうど8回正解する確率は　$${_{10}C_8(\frac{1}{2})^8(\frac{1}{2})^{10-8}\fallingdotseq4.4}$$%
10回中ちょうど9回正解する確率は　$${_{10}C_9(\frac{1}{2})^9(\frac{1}{2})^{10-9}\fallingdotseq1}$$%
10回中ちょうど10回正解する確率は　$${_{10}C_{10}(\frac{1}{2})^{10}(\frac{1}{2})^{10-10}\fallingdotseq0.1}$$%

確率はいくらなら小さい？

いくつの確率をもって小さいと判断するか。すなわち、起こりにくいことと判断するかは、問題によって異なる。間違うことも少なくて安全ではあるが、どれほど確率が小さくレアなことが起こっても何も判断できなくなる。医療的な問題であれば、例えば薬の効果などでは生命の危険に関わるのでとても小さい値をもって小さいとすべきである。一般的には5％か1％をもって小さいとすることが多い。この水準のことを危険率や有意水準と呼ぶ。ここでは5％としておこう。
さて、この人のちがいがわかるか問題である。10回中8回正解した。あてずっぽうで答えたとき、10回中8回正解することは4.4％の確率で起こる。5％より小さく確かに1000回中44回しか起こらないという意味ではかなりレアなことが起こったものである。ということは、この人はあてずっぽうで答えたというよりは、本当にちがいがわかると判断した方が自然かもしれない。「だろ？あてずっぽうで8問も正解するなんてまず起こらないんだぜ。自分はちがいがわかるんだよ。」

これでいいのか？

さて、これでいいのだろうか？なんか癪しゃくだ。確かにあてずっぽうで8問正解することは5％の危険率から判断するとかなり起こりにくいことである。見方を変えてみよう。可能性は低いが、一応起こり得るという観点からみると、、、
あてずっぽうで答えても4.4％で8回正解することができる。
あてずっぽうで答えても1％で9回正解することができる。
あてずっぽうで答えても0.1％で10回正解することができる。
8回以上正解できる可能性は確率を足して5.5％。ということは、ピンポイントでちょうど8回正解するのは起こりにくいことかもしれないが、あてずっぽうでも5.5％で8回以上正解することができるってわけだ。8回正解したのはまあある程度すごいことかもしれないが、5％の危険率からすれば8回以上正解するというのもまあ起こってもおかしくないということだ。

以上について

”以上”のところがわかりにくいかもしれないので、もう少し解説してみる。下の図は長方形を縦25個・横40個で1000個に分割したものである。8回正解の4.4％は1000個のうち44個にあたる。8回正解できるということは高いとこから飛んで長方形の中に着地するとして、この44個の部分に着地すると考えてもよい。これはやはりすごいことだ。

8回正解、9回正解も長方形の中に表示すると以下のようである。

8回正解することは4.4％の面積に着地することで難しいことかもしれないが、8回以上、つまり上の表の8回から10回の面積に着地することはちょうど8回に着地するよりは簡単である。5.5％の面積なので容易ではないがちょうど8回よりは簡単。そして危険率5％基準からしても簡単。8回正解できたのはすごいことかもしれないが、9回10回正解してもよかったのだ。つまり8回から10回正解の面積に着地すればよかったのだ。5％の危険率からこれは起こりうることであるので、8回正解はすごいことが起こったとはいえない。この人が違いがわかるかどうかは8回正解ではわからないということだ。

例題２

AとBのどちらがいいかというアンケートを20人に実施したところ、15人がAと答えた。信用していいか。

示したいこと

20問テストをしたところでたらめで15問正解することは基準（危険率）からすると小さい確率でしか起こらないので、この15人の意見は信用できる。

でたらめで答えたならば

でたらめで20問中15問以上正解する確率を計算すると。18以上の確率はほとんど0％といえるので省略する。
20回中ちょうど15回正解する確率は　$${_{20}C_{15}(\frac{1}{2})^{15}(\frac{1}{2})^{20-15}\fallingdotseq1.5}$$%
20回中ちょうど16回正解する確率は　$${_{20}C_{16}(\frac{1}{2})^{16}(\frac{1}{2})^{20-16}\fallingdotseq0.5}$$%
20回中ちょうど17回正解する確率は　$${_{20}C_{17}(\frac{1}{2})^{17}(\frac{1}{2})^{20-17}\fallingdotseq0.1}$$%
でたらめで20問中15問以上正解する確率は加算して、2.1％である。
危険率5％とすると、これは驚くべきことが起こっている。でたらめで答えてもこんなことはまず起こらないことが実際に起こっているので、15人の意見はでたらめで答えたとはいいにくく、信用できる。
上で考えた着地の話でいうと、15問正解するだけでも1.5％ですごいことだが、15問以上2.1％という面積を大きくしても5％以下の狭いところに着地したのだ。これはすごいことだ。よって信用できるということだ

参考文献

[1]結城浩 , 数学ガールの秘密ノート／やさしい統計 , SBクリエイティブ,2016
[2]大村平 , 統計のはなしー基礎・応用・娯楽ー【改訂版】 , 日科技連,2002