Jak porównać modele na podstawie AIC?

Mamy dwa modele, które używają tej samej metody do obliczania prawdopodobieństwa logarytmicznego, a AIC dla jednego jest niższy niż drugi. Jednak ten z niższym AIC jest znacznie trudniejszy do interpretacji.

Mamy problem z podjęciem decyzji, czy warto wprowadzić trudność, i oceniliśmy to na podstawie różnicy procentowej w AIC. Stwierdziliśmy, że różnica między dwoma AIC wynosiła tylko 0,7%, przy czym bardziej skomplikowany model ma AIC o 0,7% niższy.

1. Czy niska różnica procentowa między nimi jest dobrym powodem, aby unikać używania modelu z niższym AIC?

2. Czy procent różnicy wyjaśnia, że ​​w mniej skomplikowanym modelu traci się 0,7% więcej informacji?

3. Czy oba modele mogą mieć bardzo różne wyniki?

Nie ma porównać wartości bezwzględnych dwóch PTK (który może być podobny , ale także ~ 1000000 ), ale uważa ich różnic : Δ I = I C I - I C, m i n , gdzie I C I jest AIC i-tego modelu, a A I C m i n jest najniższym AIC, jaki uzyskuje się spośród zestawu badanych modeli (tj. Preferowanego modelu). Zasada praktyczna, przedstawiona np. W$\sim 100$$\sim 1000000$

1. jeśli , wówczas istnieje znaczące poparcie dla i-tego modelu (lub dowody przeciwko niemu są warte jedynie krótkiej wzmianki), a twierdzenie, że jest to właściwy opis, jest wysoce prawdopodobne;$\Delta_i<2$$i$
2. jeśli , wówczas istnieje silne poparcie dla i-tego modelu;$2<\Delta_i<4$$i$
3. jeśli , wówczas poparcie dla i-tego modelu jest znacznie mniejsze ;$4<\Delta_i<7$$i$
4. Modele z mają zasadniczo żadnego wsparcia.$\Delta_i>10$

Jeśli chodzi o 0,7% wspomniane w pytaniu, rozważ dwie sytuacje:

1. $AIC_1=AIC_{\rm min}=100$$AIC_2$$AIC_2=100.7$$\Delta_2=0.7<2$
2. $AIC_1=AIC_{\rm min}=100000$$AIC_2$$AIC_2=100700$$\Delta_2=700\gg 10$

Dlatego stwierdzenie, że różnica między AIC wynosi 0,7%, nie dostarcza żadnych informacji.

$\mathcal{L}$$\Delta_i$$\Delta_i = AIC_i − AIC_{\rm min}$$AIC_{\rm min} := 0$

Sformułowanie AIC karze stosowanie nadmiernej liczby parametrów, dlatego zniechęca do nadmiernego dopasowania. Preferuje modele o mniejszej liczbie parametrów, o ile inne nie zapewniają znacznie lepszego dopasowania. AIC próbuje wybrać model (spośród badanych), który najlepiej opisuje rzeczywistość (w postaci badanych danych). Oznacza to, że w rzeczywistości model będący prawdziwym opisem danych nigdy nie jest brany pod uwagę. Zauważ, że AIC daje ci informację, który model lepiej opisuje dane, nie daje żadnej interpretacji .

$\Delta_i$$\Delta_i<2$$\Delta_i<5$

$i$

$AIC_{\rm min}$$i$$\Delta_i=1.5$$p_i=0.47$$\Delta_i=15$$p_i=0.0005$$i$$AIC_{\rm min}$

Wreszcie w odniesieniu do wzoru na AIC:

$\mathcal{L}$$\Delta_i$$2k$$\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

1. To zły powód; wykorzystać różnicę między wartościami bezwzględnymi AIC.
2. Procent nic nie mówi.
3. Nie można odpowiedzieć na to pytanie, ponieważ nie ma informacji o modelach, danych i co oznaczają różne wyniki .