Wartości ujemne dla AICc (poprawione kryterium informacyjne Akaike)

39

Obliczyłem AIC i AICc, aby porównać dwa ogólne liniowe modele mieszane; Wartości AIC są dodatnie, a model 1 ma niższy AIC niż model 2. Jednak wartości AICc są ujemne (model 1 wciąż jest <model 2). Czy można używać i porównywać ujemne wartości AICc?

Freya Harrison
źródło
kiedy AIC stał się minimalny? proszę o odpowiedź
co to znaczy, gdy AIC modelu 1 jest mniejszy niż model 2? Czy model 1 jest bliższy zeru, czy bardziej oddalony od zera? Innymi słowy, jeśli AIC modelu 1 wynosi -390, a model 2 ma -450, czy wybrałbym model 1 lub model 2?
Jens

Odpowiedzi:

46

Liczy się tylko różnica między dwiema wartościami AIC (lub, lepiej, AICc), reprezentującymi dopasowanie do dwóch modeli. Rzeczywista wartość AIC (lub AICc) i to, czy jest dodatnia czy ujemna, nic nie znaczy. Jeśli po prostu zmieniłeś jednostki, w których wyrażane są dane, AIC (i AICc) zmieniłyby się dramatycznie. Ale różnica między AIC dwóch alternatywnych modeli w ogóle się nie zmieni.

Konkluzja: zignoruj ​​rzeczywistą wartość AIC (lub AICc) i to, czy jest ona dodatnia czy ujemna. Zignoruj ​​także stosunek dwóch wartości AIC (lub AICc). Zwróć uwagę tylko na różnicę.

Harvey Motulsky
źródło
2
Uważam, że wszystkie odpowiedzi na to pytanie są pomocne, ale myślę, że to jest najbardziej praktyczne.
Freya Harrison
1
Jestem zdezorientowany uwagą o zmianie jednostek, ponieważ z definicji AIC jest bezjednostkowy (jest to skorygowane maksymalne prawdopodobieństwo dziennika). Zmiana jednostek danych w ogóle nie zmieni maksymalnego prawdopodobieństwa, a zatem nie zmieni również AIC. (Niezależnie od tego, twoje zalecenie, aby zwracać uwagę tylko na różnicę, nie jest kwestionowane.)
whuber
5
@ whuber: jeśli dane są stale dystrybuowane (które mogą być, w zależności od tego, czy oryginalny plakat naprawdę oznacza LMM „ogólny” czy „uogólniony”), wówczas gęstość prawdopodobieństwa zawiera w sobie ukryty wyraz „delta-x”, który jest rzeczywiście wpływ zmiany jednostek. Zobacz także < emdbolker.wikidot.com/faq >
Ben Bolker
4
@Ben Dziękuję. Kiedy to napisałem, byłem zdezorientowany między AIC a różnicą AIC, myśląc, że ten drugi był tym pierwszym. To prawda, że ​​wybór jednostek wprowadza do prawdopodobieństwa stałą multiplikatywną. Stąd prawdopodobieństwo dziennika ma stałą addytywną, która przyczynia się (po podwojeniu) do AIC. Różnica AIC niezmieniona.
whuber
27

AIC = -2Ln (L) + 2k

gdzie L jest zmaksymalizowaną wartością funkcji wiarygodności dla tego modelu, a k jest liczbą parametrów w modelu.

W twoim przykładzie -2Ln (L) + 2k <0 oznacza, że ​​prawdopodobieństwo logarytmiczne na maksimum wyniosło> 0, co oznacza, że ​​prawdopodobieństwo na maksimum wyniosło> 1.

Nie ma problemu z dodatnim prawdopodobieństwem dziennika. Jest powszechnym błędnym przekonaniem, że prawdopodobieństwo dziennika musi być ujemne. Jeżeli prawdopodobieństwo wynika z gęstości prawdopodobieństwa, może ono dość rozsądnie przekroczyć 1, co oznacza, że ​​prawdopodobieństwo logarytmiczne jest dodatnie, stąd odchylenie i AIC są ujemne. Tak było w twoim modelu.

Jeśli uważasz, że porównywanie AIC jest dobrym sposobem na wybór modelu, nadal byłoby tak, że preferowany jest (algebraicznie) niższy AIC, a nie ten o najniższej bezwzględnej wartości AIC. Aby powtórzyć, chcesz najbardziej ujemną liczbę w swoim przykładzie.

Graham Cookson
źródło
13

Ogólnie przyjmuje się, że AIC (a więc AICc) jest zdefiniowane aż do dodania stałej, więc fakt, że jest on ujemny lub dodatni, w ogóle nie ma znaczenia. Tak więc odpowiedź brzmi tak, jest ważna.


źródło
Nawet jeśli uwzględniona jest stała, AIC (AICc) może być ujemne.
Rob Hyndman
1
Tak napisałem.
5

Tak, prawidłowe jest porównywanie ujemnych wartości AICc w taki sam sposób, jak w przypadku ujemnych wartości AIC. Współczynnik korygujący w AICc może stać się duży przy małej wielkości próbki i stosunkowo dużej liczbie parametrów i karać ciężej niż AIC. Tak więc dodatnie wartości AIC mogą odpowiadać ujemnym wartościom AICc.

ars
źródło
0

Tak. Prawidłowe jest porównywanie wartości AIC niezależnie od tego, czy są dodatnie czy ujemne. Jest tak, ponieważ AIC jest zdefiniowane jako funkcja liniowa (-2) prawdopodobieństwa logarytmu. Jeśli prawdopodobieństwo jest duże, twój AIC będzie prawdopodobnie ujemny, ale nie mówi nic o samym modelu.

AICc jest podobny, fakt, że wartości są teraz korygowane, niczego nie zmienia.

SmallChess
źródło