Kai_lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよ…

Kai_lazykoala

オーストラリアの海と怠惰なコアラが好き🐨 ヤンキー地域で育ったのでヤンキーでもわかるよう統計学解説してます 2022年10月にデータサイエンティストに転職 → 2022年11月 統計検定2級取得 → 2023年1月 統計検定準1級取得 → keep going on....

マガジン

  • 統計検定準1級 ②統計的推測

    統計検定準1級「統計的推測」の解説マガジン。ワークブックの8章から13章をそれぞれ解説

  • 統計検定準1級 ①確率と確率分布

    統計検定準1級「確率と確率分布」の解説マガジン。ワークブックの1章から7章をそれぞれ解説

記事一覧

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが 仮想環境構築について簡単に…

Kai_lazykoala
13日前
5

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量 検定統計量は代表的なものでも下記のようにたくさんあり とても暗記だけでは乗り切れない (というか覚…

Kai_lazykoala
3週間前
3

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると $$ \begin{aligned} V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\ & = \frac{\sum_{i} (X_i - \bar{X})^2}…

Kai_lazykoala
4週間前
2

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は $$ \begin{aligned} Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}} \end{aligned} $$ と表される なんでこんな形になるか証…

Kai_lazykoala
1か月前
2

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える 第1種の過誤 有意差がないのにあるといってしまう確率、つまり仮説検定に…

Kai_lazykoala
1か月前

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値) 期待値は標本内の数値に依存しているので サンプル内外れ値の影響を大きく受けやすい 対して、最頻値・中央値は標本…

Kai_lazykoala
1か月前

統計準1級 第6章 連続型分布と標本分布 解説

連続型分布連続型確率分布はストーリーを考えながら理解すると早い 離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい 今回取り上げる…

Kai_lazykoala
1か月前

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正規分布に関する検定を解説していく パラメトリック検定 正規分布に関する検定(1…

Kai_lazykoala
1か月前
1

統計準1級 第11章 正規分布に関する検定 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 この章で扱うもの一般的に検定は以下のようなものがある この章では、太字に記載している正…

Kai_lazykoala
1か月前
4

統計準1級 第12章 一般の分布に関する検定法 解説

はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照 https://note.com/outlifest/n/ne304cd16af63 この章で扱うものこの章で扱う検定は正規分…

Kai_lazykoala
1か月前
1

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説) の尤度の比$${L}$$を計算し この尤度比$${L}$$を 対数の2倍の値を計算し$${\chi^2}$$検定統計…

Kai_lazykoala
1か月前
1

統計準1級 第4章 変数変換 解説

変数変換とは変数変換は、統計分析やデータ処理において、変数の値や性質を変更する手法 これによって、データの分析やモデルの構築が容易になったり、データの分布や関係…

Kai_lazykoala
2か月前
3

統計準1級 第2章 確率分布と母関数 解説

確率分布の諸関数 確率(分布)関数 確率変数$${X}$$が値$${x}$$をとるときの確率$${p(x) = P(X = x)}$$を確率関数といい、離散型の場合は確率質量関数、連続型の場合は…

Kai_lazykoala
2か月前
1

統計準1級 第9章 区間推定 解説

区間推定は想定する母集団分布が正規分布に従っているか、二項分布に従っているかで考え方を変える 残念ながらここに強く言及しているネット記事がないので、念頭に置いて…

Kai_lazykoala
2か月前

統計準1級 第8章 統計的推定の基礎 解説

この章の目的 : 何が優れた推定量なのかを学ぶ例えば推定量の1つに最尤推定量があるが 「なんで最尤推定量を用いるのか」 そもそも推定量について考えたことはあんまりない…

Kai_lazykoala
2か月前
4

ジャックナイフ法・推定量 入門

ジャックナイフ法とはひとことで言えば 推定量のバイアスを軽減する方法の1つ 標本内のサンプル$${X_1, x_2, /cdots X_n}$$から サンプルを1個減らした$${n -1}$$個のサ…

Kai_lazykoala
2か月前
4
【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

【Mac】Cursor/VSCodeでDocker + poetryを用いた仮想環境構築

はじめに最近仕事でjsonやyamlファイルを編集する時間が増えたので
テキストエディタをJupyter Labから話題のCursorに切り替えようと思ったが
仮想環境構築について簡単にまとめたものがなかったので自分用にまとめた

ディレクトリ構造Docker設定ファイル作成まずプロジェクトディレクトリ配下に拡張子なしの’dockerfile’作成

## base imageFROM pytho

もっとみる
丸暗記しない検定統計量の作り方

丸暗記しない検定統計量の作り方

この記事の目的統計学を勉強しているとみんなぶち当たる検定統計量

検定統計量は代表的なものでも下記のようにたくさんあり
とても暗記だけでは乗り切れない
(というか覚える気が失せるwww)

そこで今回のこの記事では、検定統計量のイメージを掴んで
各人がその場で検定統計量を作り出すことができることが目的である

検定統計量の基本アイデアは「標準化」例えば母分散が既知の母平均の検定において
帰無仮説

もっとみる
母分散の検定の検定統計量の証明

母分散の検定の検定統計量の証明

はじめに母分散の検定の検定統計量は$${s}$$を不偏分散とすると

$$
\begin{aligned}
V &= \frac{(n - 1) s^2}{\sigma^2} \\{}\\
& = \frac{\sum_{i} (X_i - \bar{X})^2}{\sigma^2}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統

もっとみる
母比率の検定の検定統計量の証明

母比率の検定の検定統計量の証明

はじめに母比率の検定の検定統計量は

$$
\begin{aligned}
Z = \frac{\hat{p} - p}{\sqrt{\frac{p(1 - p)}{n}}}
\end{aligned}
$$

と表される

なんでこんな形になるか証明することで
丸暗記しなくても検定統計量を覚えることができるので
今回はこの検定統計量を例題も踏まえて証明していく

また検定統計量のざっくりイメージ

もっとみる
統計準1級 第10章 検定の基礎と検定法の導出 解説

統計準1級 第10章 検定の基礎と検定法の導出 解説

検定の過誤帰無仮説$${H_0}$$、対立仮説$${H_1}$$がそれぞれ正しいときの分布を描画して考える

第1種の過誤

有意差がないのにあるといってしまう確率、つまり仮説検定における棄却域と同じ

第1種の過誤は有意差がない(=帰無仮説が正しい(左の分布))にも関わらず、有意水準を超える検定統計量を取り

実現確率が$${\alpha}$$(赤斜線部分)くらい小さな確率

帰無仮説の分布よ

もっとみる
統計準1級 第3章 分布の特性値 解説

統計準1級 第3章 分布の特性値 解説

確率分布の特性値最頻値・中央値・期待値(平均値)

期待値は標本内の数値に依存しているので
サンプル内外れ値の影響を大きく受けやすい

対して、最頻値・中央値は標本内の数値に依存していないので
サンプル内外れ値の影響を大きく受けにくい

最頻値と中央値の違いは
最頻値は単峰性の分布に対して峰の位置にくるが
中央値は数直線の真ん中あたりにくることが多い
したがって分布によって大小が逆転する

サンプ

もっとみる
統計準1級 第6章 連続型分布と標本分布 解説

統計準1級 第6章 連続型分布と標本分布 解説


連続型分布連続型確率分布はストーリーを考えながら理解すると早い
離散型連続型で頻出の確率分布は下記の記事にまとめられているので適宜参考にされたい

今回取り上げる連続型確率分布は下図の赤線部分である

正規分布

正規分布は
二項分布の試行回数$${n}$$が大きく
$${np >> 1}$$のように期待値が1より十分大きい時に
近似できる分布

$$
\begin{aligned}
& f(x

もっとみる
統計準1級 第13章 ノンパラメトリック法 解説

統計準1級 第13章 ノンパラメトリック法 解説

本章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック検定

正規分布に関する検定(11章)

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその他に関する検定(12章)

適合度検定

尤度比検定

ノンパラメトリック検定(13章)<--

もっとみる
統計準1級 第11章 正規分布に関する検定 解説

統計準1級 第11章 正規分布に関する検定 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

この章で扱うもの一般的に検定は以下のようなものがある
この章では、太字に記載している正規分布に関する検定を解説していく

パラメトリック()検定

正規分布に関する検定(11章)<----

t検定

$${\chi^2}$$検定

F検定

二項分布に関する検定(12章)

母比率の(差の)検定

ポアソン分布などその

もっとみる
統計準1級 第12章 一般の分布に関する検定法 解説

統計準1級 第12章 一般の分布に関する検定法 解説


はじめに検定統計量について丸暗記せずに理解できる記事については下記を参照

https://note.com/outlifest/n/ne304cd16af63

この章で扱うものこの章で扱う検定は正規分布以外に関する検定
つまり

二項分布に関する検定

ポアソン分布に関する検定

適合度検定と尤度比検定

について解説していく

二項分布に関する検定試行回数$${n}$$、成功確率$${\t

もっとみる
尤度比検定 入門

尤度比検定 入門

尤度比検定とは尤度比検定とは帰無仮説とそうでない一般の場合(対立仮説)
の尤度の比$${L}$$を計算し

この尤度比$${L}$$を
対数の2倍の値を計算し$${\chi^2}$$検定統計量に従う形にして検定する

$$
\chi^2  〜  2log(L) where n \rightarrow \infty
$$

なお検定統計量が
$${\chi^2}$$分布に従うことはWilksの定

もっとみる
統計準1級 第4章 変数変換 解説

統計準1級 第4章 変数変換 解説

変数変換とは変数変換は、統計分析やデータ処理において、変数の値や性質を変更する手法
これによって、データの分析やモデルの構築が容易になったり、データの分布や関係性を改善したりすることが可能になる

変数変換にはいくつかの種類があるが今回は、1変数2変数の変数変換を紹介した後その他の変換について触れていく

1変数の変数変換による確率関数の変化変数変換によって確率関数の$${dx}$$と積分区間が変

もっとみる
統計準1級 第2章 確率分布と母関数 解説

統計準1級 第2章 確率分布と母関数 解説

確率分布の諸関数

確率(分布)関数

確率変数$${X}$$が値$${x}$$をとるときの確率$${p(x) = P(X = x)}$$を確率関数といい、離散型の場合は確率質量関数、連続型の場合は確率密度関数と呼ばれる

累積分布関数

確率密度関数を与えられた区間内で積分したもの
離散型確率密度関数だとシグマ
連続型確率密度関数だとインテグラルで積分する

同時確率関数・周辺確率関数・条件付き

もっとみる
統計準1級 第9章 区間推定 解説

統計準1級 第9章 区間推定 解説

区間推定は想定する母集団分布が正規分布に従っているか、二項分布に従っているかで考え方を変える

残念ながらここに強く言及しているネット記事がないので、念頭に置いて下記読み進めてもらいたい

正規分布に関する推測 確率変数の母集団分布が$${X 〜 N(\mu,\sigma)}$$に従っているとする
この時パラメータは平均と分散であるので、推定するのも平均と分散である

母平均の区間推定

母平均の

もっとみる
統計準1級 第8章 統計的推定の基礎 解説

統計準1級 第8章 統計的推定の基礎 解説

この章の目的 : 何が優れた推定量なのかを学ぶ例えば推定量の1つに最尤推定量があるが
「なんで最尤推定量を用いるのか」
そもそも推定量について考えたことはあんまりないと思う

実際問題推定量なんてなんでもいいのだが
基準をみたして優れている推定量を一般に用いることが多く
最尤推定量やベイズ推定量などが挙げられる

なので今回は優れた推定量である最尤推定量について学習したあとに
推定量の様々な性質に

もっとみる
ジャックナイフ法・推定量 入門

ジャックナイフ法・推定量 入門


ジャックナイフ法とはひとことで言えば
推定量のバイアスを軽減する方法の1つ

標本内のサンプル$${X_1, x_2, /cdots X_n}$$から
サンプルを1個減らした$${n -1}$$個のサンプルで推定量を計算し
その推定量の平均をとるという方法である

これだとなんだかよくわからないので
推定量のバイアスとはなんであったか、から以下簡単に説明する

推定量のバイアスとは推定量とパラメ

もっとみる