Używam AIC (Akaike's Information Criterion) do porównywania modeli nieliniowych w R. Czy warto porównywać AIC różnych typów modeli? Konkretnie porównuję model dopasowany przez glm do modelu z terminem efektu losowego dopasowanego przez glmer (lme4).
Jeśli nie, to czy można dokonać takiego porównania? A może pomysł jest całkowicie nieważny?
źródło
To wspaniałe pytanie, które mnie ciekawiło przez pewien czas.
W przypadku modeli z tej samej rodziny (tj. Modeli autoregresyjnych rzędu k lub wielomianów) AIC / BIC ma sens. W innych przypadkach jest to mniej jasne. Dokładne obliczenie prawdopodobieństwa dziennika (przy użyciu stałych stałych) powinno działać, ale prawdopodobnie użycie bardziej skomplikowanego porównania modelu, takiego jak Bayes Factors, jest prawdopodobnie lepsze (http://www.jstor.org/stable/2291091).
Jeśli modele mają tę samą funkcję utraty / błędu, jedną z możliwości jest po prostu porównanie potwierdzonych krzyżowo prawdopodobieństw dziennika. Zazwyczaj staram się to robić, gdy nie jestem pewien, czy AIC / BIC ma sens w określonej sytuacji.
źródło
Należy pamiętać, że w niektórych przypadkach AIC nie może nawet porównywać modeli tego samego typu, takich jak modele ARIMA z inną kolejnością różnicowania. Cytując prognozowanie: zasady i praktyka Roba J Hyndmana i George'a Athanasopoulosa:
źródło