この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。

ここまでは$${X=x_i}$$の確率を厳密に$${p(X=x_i)}$$と書いてきた。特に文脈上誤解が生じなければ、この表記を簡略化し、確率変数$${X}$$の確率分布を$${p(X)}$$、$${X=x_i}$$の確率を$${p(x_i)}$$と表記することにする。

ところで、同時確率$${p(x,y)}$$には対称性$${p(x,y) = p(y,x)}$$が成り立つことから、次のベイズの定理を得ることができる。

$$
p(y|x) = \frac{p(x|y)p(y)}{p(x)}
$$

ベイズの定理に現れる分母は加法定理を用いると次のように書ける。

$$
p(x) = \sum_y p(x|y)p(y)
$$

ベイズの定理において、$${y}$$に対する確率である$${p(y)}$$を、事前確率という。これは$${x}$$という事象を観測する前の確率だからである。一方で$${x}$$という事象が観測されたならば、ベイズの定理を使って、その条件の下での事象$${y}$$が起こる確率である$${p(y|x)}$$を計算することができる。この条件付き確率のことを事後確率という。

最後に独立の概念を定義しよう。2つの確率変数に対する同時分布$${p(X,Y)}$$が、その周辺分布の積に分解できる、つまりすべての$${x,y}$$に対して

$$
p(x,y) = p(x)p(y)
$$

が成り立つとき、$${X,Y}$$は独立であるという。独立であるとき、乗法定理からすべての$${x,y}$$に対して$${p(y|x) = p(y), p(x|y) = p(x)}$$が得られる。つまりお互いの事象の現出が自身の事象の現出に関係しない（依存しない）ことが言える。