2019年に実施された統計検定1級 統計応用 社会科学 問3（理工 問4）の[2]を実用性を一切無視して回りくどく解いたものです。
問題の背景の解説に重点を置いているため、試験時間で現実的に可能な解答ではないことをご了承ください。

問題の概要

自己回帰(AR(1))モデルとその自己共分散行列が与えられていた時に、それを誤差項分散で割ったものの逆行列とさらにその行列式を求めさせる問題。

詳細は公式の過去問題集を参照。

解答例

実際の試験では問題文で与えられた行列 $${ \boldsymbol{A} }$$ と自己共分散行列を $${ \sigma^2}$$ で割った $${\boldsymbol{T} /\sigma^2}$$ を直接かけて計算することで、$${\boldsymbol{A}}$$ が逆行列になっていることを確認すればよい。

だがここでは、問題では天下り的に与えられた $${ \boldsymbol{A} }$$ がどこから出てきたものかを理解するために、あえて遠回りをする。

以下では、AR(1)過程 $${ X_t = c + \phi X_{t-1} + \varepsilon_t }$$ （ただし $${|\phi|<1}$$、$${\varepsilon_t \sim N(0, \sigma^2)}$$）に従う系列データ $${(X_1, X_2, ..., X_n)}$$ の同時分布 $${f(X_1, X_2, ..., X_n; \boldsymbol{\theta})}$$ を２通りの方法で求めてみる（$${\boldsymbol{\theta} = (c, \phi, \sigma^2)}$$）。

自己共分散行列から同時分布を求める方法

前述の AR(1) 過程に従う時系列データ $${ \boldsymbol{X} = (X_1, X_2, ..., X_n)^\top }$$ の自己共分散行列は、以下のように与えられる：

$$
\boldsymbol{T} = \frac{\sigma^2}{1 - \phi^2}
\begin{pmatrix}
1 & \phi & \phi^2 & \cdots & \phi^{n-1}\\
\phi & 1 & \phi & \cdots & \phi^{n-2}\\
\vdots & \vdots & \vdots & \cdots & \vdots\\
\phi^{n-1} & \phi^{n-2} & \phi^{n-3} & \cdots & 1
\end{pmatrix}.
$$

この時、$${ \boldsymbol{\mu} = (c/(1-\phi), c/(1-\phi), ..., c/(1-\phi))^\top }$$ と置くと、

$$
E[\boldsymbol{X}] = \boldsymbol{\mu}, \quad V[\boldsymbol{X}] = \boldsymbol{T}
$$

であるので、

$$
f(X_1, X_2, ..., X_n; \boldsymbol{\theta}) =
\frac{1}{(2\pi)^{\frac{n}{2}}} |\boldsymbol{T}^{-1}|^{\frac{1}{2}}
\exp \left\{
-\frac{1}{2}(\boldsymbol{X} - \boldsymbol{\mu})^\top \boldsymbol{T}^{-1} (\boldsymbol{X} - \boldsymbol{\mu})
\right\} \qquad (1)
$$

と表すことができる。

条件付き分布の積から同時分布を求める方法

一方で、$${ X_t }$$ は $${X_{t-1}}$$ には依存するものの $${X_{t-2}, ..., X_1}$$ には依存しないことから、同時確率分布 $${f(X_1, X_2, ..., X_n; \boldsymbol{\theta})}$$ を次のように表すこともできる：

$$
\begin{aligned}
f(X_1, X_2, ..., X_n; \boldsymbol{\theta})
&= f(X_n \vert X_{n-1}; \boldsymbol{\theta}) f(X_{n-1} \vert X_{n-2}; \boldsymbol{\theta}) \cdot ... \cdot f(X_2 \vert X_1; \boldsymbol{\theta})f(X_1; \boldsymbol{\theta})\\
&=f(X_1; \boldsymbol{\theta}) \prod_{t=2}^n f(X_t \vert X_{t-1}; \boldsymbol{\theta}). \qquad (2)
\end{aligned}
$$

ここで、与えられた AR(1) 過程は

$$
X_t - \mu = \phi (X_{t-1} - \mu) + \varepsilon_t
$$

のような形で表すことができることから、以下が言える：

$$
E[X_t \vert X_{t-1}] = \phi (X_{t-1} - \mu), \quad V[X_t \vert X_{t-1}] = \sigma^2,
$$

$$
E[X_1] = \mu, \quad V[X_1] = \frac{\sigma^2}{1 - \phi^2}.
$$

従って、

$$
f(X_1; \boldsymbol{\theta}) = \frac{1}{\sqrt{2\pi \frac{\sigma^2}{1 - \phi^2}}} \exp \left\{ - \frac{1}{2} \frac{(X_1 - \mu)^2}{\frac{\sigma^2}{1-\phi^2}}\right\}
$$

$$
f(X_t \vert X_{t-1}; \boldsymbol{\theta}) =
\frac{1}{\sqrt{2\pi \sigma^2}} \exp \left[ - \frac{{(X_t - \mu) - \phi (X_{t-1}-\mu)}^2}{2 \sigma^2} \right]
$$

であるので、これらを式(2)に代入すると同時確率分布は

$$
\begin{aligned}
f(X_1, X_2, ..., X_n; \boldsymbol{\theta})
&=
\frac{1}{(2\pi)^{\frac{n}{2}}} \frac{(1 - \phi^2)^{\frac{1}{2}}}{(\sigma^2)^{\frac{n}{2}}}
\exp \left[
-\frac{1}{2} \frac{(1-\phi^2) (X_1 - \mu)^2}{\sigma^2}\right. \\
&\qquad \left.- \frac{1}{2} \sum_{t=2}^n \frac{{(X_t - \mu) - \phi (X_{t-1}-\mu)}^2}{\sigma^2}
\right] \qquad (3)
\end{aligned}
$$

の形で表すことができる。

条件付き分布から求めた式の更なる書き換え

ここで、

$$
\boldsymbol{Y} =
\begin{pmatrix}
\sqrt{1 - \phi^2}(X_1 - \mu)\\
(X_2 - \mu) - \phi (X_1 - \mu)\\
(X_3 - \mu) - \phi (X_2 - \mu)\\
\vdots\\
(X_n - \mu) - \phi (X_{n-1} - \mu)
\end{pmatrix}
$$

のように置くと、上記で求めた式(3)は

$$
f(X_1, X_2, ..., X_n; \boldsymbol{\theta})
=
\frac{1}{(2\pi)^{\frac{n}{2}}} \frac{(1 - \phi^2)^{\frac{1}{2}}}{(\sigma^2)^{\frac{n}{2}}}
\exp \left\{
-\frac{1}{2} \frac{\boldsymbol{Y}^\top \boldsymbol{Y}}{\sigma^2} \right\}
$$

と書き換えることができる。
さらに以下の行列

$$
\boldsymbol{L} =
\begin{pmatrix}
\sqrt{1 - \phi^2} & 0 & 0 & \cdots & 0 & 0\\
-\phi & 1 & 0 & \cdots & 0 & 0\\
0 & -\phi & 1 & \cdots & 0 & 0\\
\vdots & \vdots & \vdots & \cdots & \vdots & \vdots\\
0 & 0 & 0 & \cdots & 1 & 0\\
0 & 0 & 0 & \cdots & -\phi & 1
\end{pmatrix}
$$

を用いることで $${ \boldsymbol{Y} = \boldsymbol{L} (\boldsymbol{X} - \boldsymbol{\mu}) }$$ と表すことができ、これを再度上記の式に代入すると同時確率分布は以下のように表すことができる：

$$
\begin{aligned}
f(X_1, X_2, ..., X_n; \boldsymbol{\theta})
&=
\frac{1}{(2\pi)^{\frac{n}{2}}} \frac{|\boldsymbol{L}^\top \boldsymbol{L}|^{\frac{1}{2}}}{(\sigma^2)^{\frac{n}{2}}}
\exp \left\{
-\frac{1}{2} \frac{(\boldsymbol{X} - \boldsymbol{\mu})^\top \boldsymbol{L}^\top \boldsymbol{L} (\boldsymbol{X} - \boldsymbol{\mu})}{\sigma^2} \right\}. \qquad (4)
\end{aligned}
$$

なお、途中で

$$
|\boldsymbol{L}| = \sqrt{1 - \phi^2}
$$

より

$$
|\boldsymbol{L}^\top \boldsymbol{L}| = 1 - \phi^2
$$

であることを用いた。

2通りで表した同時分布の比較

上記で出てきた行列 $${ \boldsymbol{L}^\top \boldsymbol{L} }$$ は、実は問題文で与えられた行列 $${ \boldsymbol{A}}$$ と一致する：

$$
\begin{aligned}
\boldsymbol{L}^\top \boldsymbol{L} &=
\begin{pmatrix}
\sqrt{1 - \phi^2} & -\phi & 0 & \cdots & 0 & 0\\
0 & 1 & -\phi & \cdots & 0 & 0\\
0 & 0 & 1 & \cdots & 0 & 0\\
\vdots & \vdots & \vdots & \cdots & \vdots & \vdots\\
0 & 0 & 0 & \cdots & 1 & -\phi \\
0 & 0 & 0 & \cdots & 0 & 1
\end{pmatrix}
\begin{pmatrix}
\sqrt{1 - \phi^2} & 0 & 0 & \cdots & 0 & 0\\
-\phi & 1 & 0 & \cdots & 0 & 0\\
0 & -\phi & 1 & \cdots & 0 & 0\\
\vdots & \vdots & \vdots & \cdots & \vdots & \vdots\\
0 & 0 & 0 & \cdots & 1 & 0\\
0 & 0 & 0 & \cdots & -\phi & 1
\end{pmatrix}\\
&=
\begin{pmatrix}
1 & -\phi & 0 & \cdots & 0 & 0\\
-\phi & 1 + \phi^2 & -\phi & \cdots & 0 & 0\\
0 & -\phi & 1 + \phi^2 & \cdots & 0 & 0\\
\vdots & \vdots & \vdots & \cdots & \vdots & \vdots\\
0 & 0 & 0 & \cdots & -\phi & 0\\
0 & 0 & 0 & \cdots & 1 + \phi^2 & -\phi\\
0 & 0 & 0 & \cdots & - \phi & 1
\end{pmatrix}\\
&= \boldsymbol{A}
\end{aligned}
$$

したがって、式(1)と式(4)を比べることで、

$$
\begin{aligned}
f(X_1, X_2, ..., X_n; \boldsymbol{\theta}) &=
\frac{1}{(2\pi)^{\frac{n}{2}}} |\boldsymbol{T}^{-1}|^{\frac{1}{2}}
\exp \left\{
-\frac{1}{2}(\boldsymbol{X} - \boldsymbol{\mu})^\top \boldsymbol{T}^{-1} (\boldsymbol{X} - \boldsymbol{\mu})
\right\}\\
&=\frac{1}{(2\pi)^{\frac{n}{2}}} \frac{|\boldsymbol{A}|^{\frac{1}{2}}}{(\sigma^2)^{\frac{n}{2}}}
\exp \left\{
-\frac{1}{2} \frac{(\boldsymbol{X} - \boldsymbol{\mu})^\top \boldsymbol{A} (\boldsymbol{X} - \boldsymbol{\mu})}{\sigma^2} \right\}
\end{aligned}
$$

であることから、

$$
\boldsymbol{T}^{-1} = \frac{1}{\sigma^2} \boldsymbol{A}
$$

つまり

$$
\left( \frac{1}{\sigma^2} \boldsymbol{T} \right)^{-1} = \boldsymbol{A}
$$

が成り立つことがわかる。
したがって以上より $${ \boldsymbol{A} }$$ が $${\frac{1}{\sigma^2} \boldsymbol{T}}$$ の逆行列であることが示された。

行列 $${ \boldsymbol{A} }$$ の行列式についても、先ほど示したように

$$
\begin{aligned}
|\boldsymbol{A}| &= |\boldsymbol{L}^\top \boldsymbol{L}|\
&= 1 - \phi^2
\end{aligned}
$$

のように求まる。

参考文献

• J.D.Hamilton, Time Series Analysis (Princeton Univ Pr, 1994)