情報量規準によるモデル選択

平易に言うと: パラメータを増やせば見かけ上の当てはまりは必ず良くなるが、それだけでは過学習になる。「当てはまりの良さ」と「モデルの複雑さ」を両方考慮して、複数の候補から1つを選ぶための基準がAICである。

前提知識

• 尤度・最尤推定の基礎
• [[arima-basics]] ARMAモデルの基礎

利用シーン

ARIMAの次数p, qの決定、GARCHの次数決定など、複数のモデル候補から1つを選ぶあらゆる場面。[[box-jenkins-method]]の同定ステップで標準的に用いられる。

ARMAモデルの次数pやqを増やせば、尤度は必ず改善するが、それだけでは過学習に陥る。真の分布とモデルの近さを測るKullback-Leibler情報量に基づき、パラメータ推定が生むバイアスを補正した規準がAIC(赤池情報量規準)である。

AICが最小のモデルを選ぶことで、当てはまりの良さと複雑さのバランスを取る。Box-Jenkins法の同定ステップにおける次数決定にも標準的に使われる。

用語集

• 尤度: データがそのモデル・パラメータのもとで観測される確率の指標
• K-L情報量(Kullback-Leibler情報量): 真の分布とモデルの分布のずれを測る量
• AIC(赤池情報量規準): 当てはまりの良さと複雑さのバランスを取るモデル選択基準
• 過学習: パラメータを増やしすぎて訓練データに過剰適合すること