多重検定の問題

多重検定の問題とは，有意水準 5%のもとで，検定を繰り返すことで，第一種の誤りの危険性が 5% を大きくこえてしまうという問題を言います。有意水準5%のもとで，10回検定をした場合，第一種の誤りの危険性は40%を超えます。

$$
1 - .95 ^{10} = .40 \cdots
$$

Bonferroni 法

この問題を避けるには，有意水準を5%より小さくすればいいでしょう。

Bonferroni 法では，検定の回数を $${m}$$ としたとき，一回の検定の有意水準を $${\frac{.05}{m}}$$ にします。検定の回数が 10 回であれば，一回の検定の有意水準は $${\frac{.05}{10}}$$ で，.005 とします。

有意水準 0.5% にすれば，10回検定をしても，第一種の誤りが1回以上起きる確率は4.8%と 5% におさえることができます。

$$
1 - .995^{10} = .0488 \cdots  \gt .05
$$

ただ，4.8% ということは，5% よりもすこし小さいですね。有意になりにくくなってしまっています。それを回避する方法に，Holm 法がありますが，それは改めて説明します。

おすすめの本

すごくよい本だと思います。