情報量規準(AIC)とKullback-Leibler情報量

平易に言うと: パラメータを増やせば見かけ上の当てはまりは必ず良くなるが、それだけでは過学習になる。当てはまりの良さと複雑さの両方を考慮してモデルを選ぶための基準。

前提知識

• 尤度・最尤推定の基礎
• [[arima]] ARMAモデルの基礎

利用シーン

ARIMAの次数p, q決定、GARCHの次数決定など、複数モデル候補から1つを選ぶあらゆる場面。[[lag-operator-box-jenkins]]の同定ステップで標準的に使う。

尤度を最大化するだけでは、パラメータ数を増やすほど見かけ上の当てはまりが向上してしまい過学習に陥る。真の分布とモデルの近さを測るKullback-Leibler(K-L)情報量に基づき、この過学習を補正する規準がAIC(赤池情報量規準)である。

K-L情報量とバイアス補正

真の分布とモデル分布のK-L情報量を最小化することは、モデルの対数尤度を最大化することとほぼ等価である。しかしパラメータをデータ自身から推定することが正のバイアスを生み、このバイアスは漸近的にパラメータ数kにほぼ等しいことが示される。対数尤度をkだけ補正することで、不偏に近いモデル評価量が得られる。

AICが最小となるモデルを選ぶことで、当てはまりの良さと過学習の抑制をバランスさせる。ARMAモデルの次数p, qの決定にも標準的に用いられる。

用語集

• K-L情報量: 真の分布とモデルの分布のずれを測る量
• AIC(赤池情報量規準): 当てはまりの良さと複雑さのバランスを取るモデル選択基準
• 過学習: パラメータを増やしすぎて訓練データに過剰適合すること