前回は確率分布をテーマに演習しましたが、今週は点推定の考え方の基本を押さえていきましょう。

§ 1. 点推定

母集団の興味のある特性値θが未知のとき、サイズnの標本x = (x[1], ..., x[n])を適切に抽出して、これからθの値を見積もろうと考えるのが推定です。例えば、興味のある特性値が母平均μのとき、μの値が未知なら標本平均を用いてこれを推定することがよく行われたりしますね。

推定量 :  母集団の興味のある特性値θが未知のとき、サイズnの標本x = (x[1], ..., x[n])から特性値を見積もる式T(x[1], ..., x[n])を考える。この式Tを特性値θの推測統計量（推定量）といいます。

推定量の良さ : ところで、どうして標本平均が母平均の推定値に用いられるのか意識したことはありますか？推定量Tを闇雲に選んでよいわけではないことは直感的に想像できると思いますが、逆に良さそうな推定量は何ですかと言われたら難しいですね。ここでは
・サンプルサイズが大きいとθの値に限りなく近い値になる（一致性）
・繰り返しサンプルを取り直してみると、平均的にはTはθになる（不偏性）
の2種類を紹介しようと思います。

§ 2. 一致性

サンプルサイズが大きいとθの値に限りなく近い値になるような推定量を一致推定量といいます。より正確に説明すると、
・任意のε>0に対して、lim P[ |T(x[1], ..., x[n]) - θ| > ε ] = 0 (n→∞)となる。
をみたすような推定量T(x[1], ..., x[n])のことです。以下の問題を解いて、この意味をよく確認してみてください。

1問目 : 期待値μ, 分散1²の正規分布N(μ, 1²)の期待値μを標本平均で推定する問題を考えましょう。サイズnの独立標本を採ったとき、その標本平均をT[n]と書くことにします。以下の問いに答えてください。
(1) T[n]が従う確率分布を答えてください。
(2) |T[n] - μ| < εを満たす確率を、εとnを用いて答えてください。ただし、標準正規分布の累積分布関数をΦ(z)を用いてよいこととします。
(3) このケースの場合、標本平均は期待値の一致推定量かを理由つきで答えてください。

(註) 実際には、チェビシェフの不等式を用いることでより一般的な確率分布に対しても一致性を証明することが出来ます。

§ 3. 不偏性

仮にサイズnの標本を繰り返しとっても良かったとき、推定量Tの値の平均値が推定したいθの値と等しくなるような性質を考えます。このような性質を持つ推定量Tのことを、不偏推定量といいます。より正確に説明すると
・E[T] = θ
をみたすような推定量Tのことです。以下の問題を参考に、不偏推定量の考え方を復習しましょう。

2問目 : 期待値μの母集団からサイズnの独立標本を採ったとします。期待値μの推定量として、
・推定量T[1] : 最初に得られた標本点
・推定量T[2] : 標本平均
を考えます。以下の問いに答えてください。
(1) 推定量のそれぞれの期待値E[T[1]], E[T[2]]を求めてください。
(2) 推定量T[1], T[2]はそれぞれ不偏推定量かを答えてください。
(3) 推定量の分散V[T[1]], V[T[2]]を求めてください。また、この結果を背景に期待値μの推定量としてT[1]とT[2]のうち選択するならどちらかを答えてください。

(註) このように不偏推定量では、不偏性を満たすこと自体が重要というより、むしろ不偏性を満たしたうえでさらに分散が小さい推定量が知りたいという気持ちがあります。推定量の標準偏差のことを標準誤差というのでした。詳しくはバイアス・バリアンス分解を勉強してみてください。

§ 4. 不偏性と一致性の違い

不偏性と一致性はどれくらい違う概念なのでしょうか。要するに、
・不偏推定量であって一致推定量でないもの。
・一致推定量であって不偏推定量でないもの。
は存在するのでしょうか。以下の問いを考えてみてください。

3問目 : 以下の問いに答えてください。
(1) 正規母集団において標本分散は一致推定量であるが不偏推定量でないことが知られている。不偏性を満たさないことを証明してみてください。
(2) 正規母集団からサイズnの独立標本をとる。このとき、最初に得られる標本点の値を期待値μの推定量として採用すると不偏性は満たすが一致性は満たさない。一致性を満たさないことを証明してみてください。

謝辞

このnoteはピースオブケイク社での統計勉強会のために作成した資料です。勉強会での講師の機会を頂いた参加者のみなさまに感謝申し上げます。