強定常と弱定常
$${X\left( t,\omega \right)}$$を確率過程とする。
$${t}$$ は時間をあらわし、$${X\left( t \right)=X\left( t,\omega \right)}$$は$${t}$$ を固定すると確率変数になっている。
すなわち、$${t\in \mathbb{R}}$$ であり、確率空間$${\left( \Omega ,\mathcal{F},P \right)}$$において$${\omega \in \Omega }$$ とする。
いま、任意の$${n\in \mathbb{N}}$$ , $${{{t}_{1}},{{t}_{2}},\cdots ,{{t}_{n}}\in \mathbb{R}}$$$${{{a}_{1}},{{a}_{2}},\cdots ,{{a}_{n}}\in \mathbb{R}}$$$${{{b}_{1}},{{b}_{2}},\cdots ,{{b}_{n}}\in \mathbb{R}}$$をとるとき、
（１）：$${P\left\{ {{a}_{1}} < X\left( {{t}_{1}} \right) < {{b}_{1}},{{a}_{2}} < X\left( {{t}_{2}} \right) < {{b}_{2}},\cdots ,{{a}_{n}} < X\left( {{t}_{n}} \right) < {{b}_{n}} \right\}}$$$${=P\left\{ {{a}_{1}} < X\left( {{t}_{1}}+t \right) < {{b}_{1}},{{a}_{2}} < X\left( {{t}_{2}}+t \right) < {{b}_{2}},\cdots ,{{a}_{n}} < X\left( {{t}_{n}}+t \right) < {{b}_{n}} \right\}}$$
が任意の$${t\in \mathbb{R}}$$に対して成り立つとき、
$${X\left( t \right)}$$ は定常確率過程とよばれる。
このとき、$${X\left( t \right)}$$の平均$${E\left( X \right)=m}$$と分散
$${VarX\left( t \right)={{\sigma }^{2}}}$$ は$${t}$$に無関係な値をもち、共分散
$${E\left( \left( X\left( t+u \right)-m \right)\left( X\left( t \right)-m \right) \right)=\rho \left( u \right)}$$
は時刻$${t}$$に無関係だが時間差$${u}$$ の関数となっている。記号簡単の為$${X\left( t \right)-m}$$ をあらためて$${X\left( t \right)}$$と書くことにする、あるいは、$${m=0}$$ を仮定してもよい。
 
このようにすると
（２）：$${EX\left( t,\omega \right)=0}$$、$${EX\left( t,\omega \right)X\left( s,\omega \right)=\rho \left( t-s \right)}$$
と書ける。
 
（１）ならば（２）であるが、逆はかならずしも言えない。
(1)を満たすとは限らないが、（２）をみたすような確率過程$${X\left( t \right)}$$は弱定常過程weakly stationary random processとよばれる。それと区別して（１）をみたす$${X\left( t \right)}$$は強定常過程strictly stationary random processと呼ばれる。
ただし、確率分布$${P}$$が正規分布Gauss分布 から決められるばあい、
多次元正規分布は平均ベクトルと共分散行列だけで決まるので(2)から(1)がみちびかれ(1)(2)の区別はなくなる。ガウス弱定常過程Gaussian Processは強定常過程でもある。このため、ガウス分布が予め仮定されていることも多い。
 
$${\rho \left( u \right)}$$は正定符号で
$${\sum\limits_{i,j=1}^{n}{\rho \left( {{t}_{i}}-{{t}_{j}} \right)}{{\alpha }_{i}}{{\bar{\alpha }}_{j}}\ge 0}$$
であるからフーリエ変換（調和解析）におけるBochnerの定理から、
$${\rho \left( u \right)}$$が$${u=0}$$ で連続を仮定すると
$${\rho \left( u \right)=\int\limits_{-\infty }^{\infty }{{{e}^{ix u}}dF\left( x \right)}}$$
と書けることが証明される。ここに、$${F\left( x \right)}$$は有界で非減少関数である。この$${F\left( x \right)}$$を弱定常確率過程$${X\left( t \right)}$$のスペクトル関数という。非減少関数ゆえ微分$${f\left( x \right)=dF/dx \ge 0}$$ がほとんどいたるところで存在し$${X\left( t \right)}$$のスペクトル密度関数という。スペクトル密度について、
（Szego）の条件
$${\int\limits_{-\infty }^{\infty }{\frac{\log f\left( x \right)}{1+{{x}^{2}}}}dx>-\infty }$$
があるとき、
$${f\left( x \right)={{\left| h\left( x \right) \right|}^{2}}}$$ 、$${\int\limits_{-\infty }^{\infty }{f\left( x \right)dx=}\int\limits_{-\infty }^{\infty }{{{\left| h\left( x \right) \right|}^{2}}dx<\infty }}$$
とかける。すなわち$${h\in {{L}^{2}}\left( \mathbb{R} \right)}$$である。そしてその拡張$${h\left( x+iy \right),y<0}$$ が複素平面の下半面に関するHardy クラス $${{{H}^{2-}}}$$の関数で$${h\left( x \right)=\underset{y\to 0}{\mathop{\lim }}\,h\left( x+iy \right)}$$ となっているものをとることができる。
$${\hat{h}\left( \lambda \right)=\frac{1}{\sqrt{2\pi }}\int\limits_{-\infty }^{\infty }{{{e}^{-i\lambda x}}}h\left( x \right)dx}$$を$${h\left( x \right)}$$ の$${{{L}^{2}}}$$ の意味でのフーリエ変換とすると、$${h\in {{H}^{2-}}}$$ということから、$${\hat{h}\left( \lambda \right)=0}$$ , $${\lambda >0}$$ となる。実際、$${h\in {{H}^{2-}}}$$はフーリエ変換$${\hat{h}\left( \lambda \right)}$$のサポートが負、$${h\in {{H}^{2+}}}$$はフーリエ変換$${\hat{h}\left( \lambda \right)}$$のサポートが正という性質で特徴づけできる。
したがって、$${h\in {{H}^{2-}}}$$は、フーリエ逆変換を使うと
$${h\left( x \right)=\frac{1}{\sqrt{2\pi }}\int\limits_{-\infty }^{0}{{{e}^{i\lambda x}}}\hat{h}\left( x \right)dx}$$
となる。
 
$${EX\left( t,\omega \right)X\left( s,\omega \right)=\rho \left( t-s \right)}$$$${=\int\limits_{-\infty }^{\infty }{{{e}^{i\left( t-s \right)x }}f\left( x \right)dx }}$$
の関係をもちいれば、予測誤差（２乗平均）は$${{{e}_{t}}\left( x \right)={{e}^{itx }}}$$ とおいて、
$${E{{\left| X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}}=}$$$${\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}\left( x \right)} \right|}^{2}}}f\left( x \right)dx }$$
がえられる。この式はさらに、
$${\int\limits_{-\infty }^{\infty }{\frac{\log f\left( x \right)}{1+{{x}^{2}}}}dx>-\infty }$$を仮定して、
$${f\left( x \right)={{\left| h\left( x \right) \right|}^{2}}}$$と書けることを利用すれば、
$${\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}\left( x \right)} \right|}^{2}}}f\left( x \right)dx =\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}\left( x \right)}h\left( x \right)} \right|}^{2}}}dx }$$
となる。いま、
過去のデータ$${X\left( {{t}_{1}} \right),X\left( {{t}_{2}} \right),\cdots }$$ ($${{{t}_{1}}<0}$$,$${{{t}_{2}}<0}$$ ,$${\cdots }$$ )をもちいて、未来の値$${X\left( \tau \right)}$$$${\tau >0}$$の最適予測をもとめるのに、
$${\underset{{{c}_{1}},{{c}_{2}},\cdots }{\mathop{\min }}\,E{{\left| X\left( \tau \right)-\sum\limits_{j=1}^{\infty }{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}}}$$
を考えると、それが
$${\underset{{{c}_{1,}}{{c}_{2}},\cdots }{\mathop{\min }}\,\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-\sum\limits_{j=1}^{\infty }{{{c}_{j}}{{e}_{{{t}_{j}}}}h\left( x \right)} \right|}^{2}}}dx }$$
に帰着されることを見た。$${t<0}$$のとき、フーリエ変換が,
$${\widehat{{{e}^{i\lambda t}}h\left( \lambda \right)}=0,\lambda >0}$$をみたすことから$${{{t}_{1}}<0}$$,$${{{t}_{2}}<0}$$ ,$${\cdots }$$のとき$${\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}\left( x \right)}h\left( x \right)\in {{H}^{2-}}}$$となるのみならずHardy classの性質を用いて$${h\left( x \right)}$$として外関数を選ぶことによりBeurlingの定理によって　$${{{\overline{\left\{ \sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}\left( x\right)}h\left( x \right):{{t}_{1}}<0,\cdots ~,{{t}_{n}}<0,\forall n \right\}}}^{{{L}^{2}}}}   ={{H}^{2-}}}$$全体となることが知られている。したがって最適予測の問題は、
$${\underset{{{c}_{1,}}{{c}_{2}},\cdots }{\mathop{\min }}\,\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-\sum\limits_{j=1}^{\infty }{{{c}_{j}}{{e}_{{{t}_{j}}}}h\left( x \right)} \right|}^{2}}}dx =\underset{k\in {{H}^{2-}}}{\mathop{\min }}\,\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-k\left( x \right) \right|}^{2}}}dx }$$
となる。すなわち、$${{{k}_{0}}\left( x \right)}$$ を$${{{e}_{\tau }}\left( x \right)h\left( x \right)}$$ の$${{{H}^{2-}}}$$への正射影ととることにより最小値を達成できる。具体的には、$${{{L}^{2}}={{H}^{2+}}\oplus {{H}^{2-}}}$$ であることとフーリエ変換$${\mathcal{F}}$$ が$${{{L}^{2}}\to {{L}^{2}}}$$ のisometry（プランシュレルの定理）となっていることを用いる。つまり$${\varphi \in {{L}^{2}}}$$の $${{{H}^{2-}}}$$への正射影$${prjection\,\varphi }$$ は、まず、$${\psi \left( \lambda \right)=\left( \mathcal{F}\varphi \right)\left( \lambda \right)}$$ ,$${\lambda<0}$$ , $${\psi \left( \lambda \right)=0,\lambda>0}$$を計算する。その結果の逆フーリエ変換を計算して、
$${prjection\,\varphi ={{\mathcal{F}}^{-1}}\psi }$$として求められる。したがって
$${{{k}_{0}}\left( x \right)=\int\limits_{-\infty }^{0}{{{e}^{ix\lambda }}}\left[ \frac{1}{2\pi }\int\limits_{-\infty }^{\infty }{{{e}_{\tau }}\left( \mu \right)h\left( \mu \right){{e}^{-i\mu \lambda}}d\mu } \right]d\lambda}$$$${=\int\limits_{-\infty }^{0}{\left[ \hat{h}\left( \tau -\lambda \right) \right]}{{e}^{ix\lambda }}d\lambda}$$
$${={{e}^{ix \tau }}\int\limits_{\tau }^{\infty }{{{e}^{-i\lambda x}}\left[ \hat{h}\left( \lambda \right) \right]d\lambda}}$$
が得られる。そして、
$${{{e}_{\tau }}\left( x \right)h\left( x \right)-{{k}_{0}}\left( x \right)={{e}^{ix \tau }}\int\limits_{0}^{\tau }{{{e}^{-i\lambda x}}\left[ \hat{h}\left( \lambda \right) \right]}d\lambda}$$
であるから、

$${\underset{k\in {{H}^{2-}}}{\mathop{\min }}\,\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-k\left( x \right) \right|}^{2}}}dx =\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( x \right)h\left( x \right)-{{k}_{0}}\left( x \right) \right|}^{2}}}dx =}$$
$${\int\limits_{-\infty }^{\infty }{{{\left| {{e}^{ix \tau }}\int\limits_{0}^{\tau }{{{e}^{-i\lambda x}}\left[ \hat{h}\left( \lambda \right) \right]}d\lambda \right|}^{2}}dx }}$$$${=2\pi \int\limits_{0}^{\tau }{{{\left| \hat{h}\left( \lambda \right) \right|}^{2}}d\lambda}}$$
となる。最後の等式はプランシュレルの定理である。このようにフーリエ解析が有効であることがわかる。
 
予測誤差は次のように極めて簡単な式になった：
$${\underset{{{c}_{1}},{{c}_{2}},\cdots }{\mathop{\min }}\,E{{\left| X\left( \tau \right)-\sum\limits_{j=1}^{\infty }{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}}}$$$${=2\pi \int\limits_{0}^{\tau }{{{\left| \hat{h}\left( \lambda \right) \right|}^{2}}d\lambda}}$$
また、最適予測量$${{{X}^{*}}}$$については、$${{{k}_{0}}\left( x \right)}$$ そのものではなく
$${X\left( t \right)\leftrightarrow {{e}^{ixt}}}$$
$${\sum{{{c}_{j}}X\left( {{t}_{j}} \right)\leftrightarrow }\sum{{{c}_{j}}{{e}^{ix{{t}_{j}}}}}}$$
なる関係で、

$${{{X}^{*}}}$$$${\leftrightarrow }$$$${\frac{{{e}^{ix \tau }}}{h\left( x \right)}\int\limits_{\tau }^{\infty }{{{e}^{-i\lambda x}}\left[ \hat{h}\left( \lambda \right) \right]d\lambda}}$$$${=\frac{{{k}_{0}}\left( x \right)}{h\left( x \right)}}$$

としなくてはならない。
確率の意味で、これをどのように理解するべきであろうか？