Woldの表現定理とヒルベルト空間
平易に言うと: なぜAR/MAのような単純な足し算・掛け算のモデルで、複雑な現実の時系列をうまく近似できてよいのか。その数学的な裏付けを与えるのが本章の内容であり、実務よりも理論的な土台を理解したい人向け。
前提知識
- [[stationarity]] 弱定常性
- 線形代数(ベクトル空間、内積、射影)の基礎
- 確率論の基礎(確率変数、分散)
利用シーン
ARIMAなど線形モデルの理論的正当性を理解したい研究・学習の場面。直接データ分析に使うというより、後続の手法がなぜ妥当かを理解するための基礎理論。
ARIMAのようなAR/MAの線形モデルで現実の複雑な時系列を近似してよい理由は何か。その根拠を与えるのがWoldの表現定理である。
時系列をヒルベルト空間のベクトルとして見る
決定論的トレンドを除去した弱定常過程は、平均0・分散有限の確率変数が作るヒルベルト空間L^2上のベクトルとみなせる。過去の情報が張る部分空間へ今日の値を直交射影したものが、予測誤差の分散を最小にする最良線形予測値になる。
Woldの分解
この射影を過去に向かって再帰的に繰り返すと、任意の弱定常過程は過去の独立なショックの無限和と決定論的成分の和へ一意に分解できる。
ウェイトの二乗和が有限に収束する条件(二乗可和条件)が定常性の必要十分条件であり、記憶が適切に減衰することを保証する。これがAR/MAモデルの理論的な土台である。
用語集
- ヒルベルト空間: 内積が定義された完備なベクトル空間。確率変数の集合を幾何学的に扱う枠組み
- 直交射影: ある部分空間への最短距離となる点への写像。最良線形予測に対応
- 最良線形予測: 予測誤差の分散を最小にする、過去の値の線形結合による予測
- ホワイトノイズ(ショック): 互いに無相関で予測不能な誤差項
- 二乗可和条件: 係数の二乗和が有限に収束する条件。定常性と対応