Kiedy należy wybrać modele poprzez zminimalizowanie AIC?

Jest dobrze ustalone, przynajmniej wśród statystyków pewnego wyższego kalibru, że modele z wartościami statystyki AIC mieszczącymi się w pewnym progu wartości minimalnej należy uznać za odpowiednie jako model minimalizujący statystyki AIC. Na przykład w [1, s. 221] znajdujemy

Wtedy modele z małym GCV lub AIC będą uważane za najlepsze. Oczywiście nie należy ślepo minimalizować GCV lub AIC. Wszystkie modele o względnie małych wartościach GCV lub AIC należy raczej uznać za potencjalnie odpowiednie i ocenione zgodnie z ich prostotą i przydatnością naukową.

Podobnie w [2, s.144] mamy

Sugerowano (Duong, 1984), że modele o wartościach AIC mieszczących się w granicach c wartości minimalnej należy uznać za konkurencyjne (przy wartości c = 2 jako wartości typowej). Wybór spośród modeli konkurencyjnych może wówczas opierać się na takich czynnikach, jak biel reszt (sekcja 5.3) i prostota modelu.

Bibliografia:

1. Ruppert, D .; Wand, MP & Carrol, RJ Semiparametric Regression , Cambridge University Press, 2003
2. Brockwell, PJ & Davis, RA Wprowadzenie do szeregów czasowych i prognoz , John Wiley & Sons, 1996

Biorąc powyższe pod uwagę, który z dwóch poniższych modeli powinien być preferowany?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

Mówiąc bardziej ogólnie, kiedy właściwe jest wybieranie modeli poprzez ślepe minimalizowanie AIC lub powiązanych statystyk?

Parafrazując notatki z wykładu Cosmy Shalizi o prawdzie o regresji liniowej , nigdy nie wybierzesz modelu tylko dlatego, że zdarzyło się, że zminimalizował on statystyki takie jak AIC , dla

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

Powiedziałbym, że stosowanie AIC przy wyborze modelu jest często właściwe, ale rzadko słuszne jest używanie go jako jedynej podstawy wyboru modelu. Musimy także wykorzystać wiedzę merytoryczną.

W twoim konkretnym przypadku porównujesz model z AR trzeciego rzędu w porównaniu z modelem z AR pierwszego rzędu. Oprócz AIC (lub czegoś podobnego) przyjrzałbym się wykresom autokorelacji i częściowej autokorelacji. Chciałbym również rozważyć, co 3rd modelu zamówienie będzie oznaczać . Czy ma sens? Czy przyczynia się do wiedzy merytorycznej? (Lub, jeśli jesteś zainteresowany prognozowaniem, czy to pomaga przewidzieć?)

Mówiąc bardziej ogólnie, czasami zdarza się, że znalezienie bardzo małego rozmiaru efektu jest interesujące.

Możesz myśleć o AIC jako o bardziej rozsądnym (tj. Większym) odcięciu wartościJednak wybór modelu oparty na wartościach lub dowolnej innej metodzie jednej zmiennej naraz jest trudny, ponieważ występują wszystkie problemy związane ze stopniowym wyborem zmiennych. Ogólnie rzecz biorąc, AIC działa najlepiej, jeśli jest używany do wyboru unikalnego pojedynczego parametru (np. Współczynnika skurczu) lub do porównania 2 lub 3 modeli kandydujących. W przeciwnym razie dopasowanie całego zestawu zmiennych w jakikolwiek sposób, przy użyciu skurczu lub redukcji danych, często spowoduje lepszą dyskryminację predykcyjną. Parsimony stoi w sprzeczności z dyskryminacyjną prognozą.$P$$P$