Obliczanie AIC „ręcznie” w R.

Próbowałem obliczyć AIC regresji liniowej w R, ale bez użycia AICfunkcji:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

Jednak AICdaje inną wartość:

AIC(lm_mtcars)
[1] 190.7999

Czy ktoś mógłby mi powiedzieć, co robię źle?

r aic information-theory luciano
źródło

(bez sprawdzania odpowiedzi): niekoniecznie robisz coś złego, ponieważ prawdopodobieństwo jest zdefiniowane tylko do stałej multiplikatywnej; dwie osoby mogą obliczyć prawdopodobieństwo dziennika i uzyskać różne liczby (ale różnice w prawdopodobieństwie dziennika są takie same).

Glen_b

Myślę, że odpowiedź Hong Oois jest związana z tym pytaniem. Formuła AICużywana przez tę funkcję to -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

COOLSerdash

luciano: „+1” w tej formule @COOLSerdash wskazuje na wynik parametru wariacji. Zauważ też, że funkcja logLikmówi, że dla lmmodeli zawiera „wszystkie stałe” ... więc log(2*pi)gdzieś tam będzie

Glen_b

@Glen_b: Dlaczego powiedzmy, że prawdopodobieństwo jest zdefiniowane tylko do stałej multiplikatywnej? W końcu, porównując nie zagnieżdżone modele z różnych rodzin dystrybucji (np. Z AIC lub testem Coxa), musisz pamiętać o tej stałej.

Scortchi - Przywróć Monikę

@Scortchi definicja nie jest moja! Musisz wziąć to z RAFisher. Myślę, że tak było od samego początku (1921). Że wciąż jest tak zdefiniowane, przynajmniej w przypadku ciągłym, patrz tutaj na przykład zdanie rozpoczynające się „Dokładniej”.

Glen_b

Odpowiedzi:

Zauważ, że pomoc dla funkcji logLikw R mówi, że dla lmmodeli zawiera ona „wszystkie stałe” ... więc gdzieś tam będzie log(2*pi), a także inny stały termin na wykładnik prawdopodobieństwa. Nie można również zapomnieć o tym, że jest parametrem. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

ale zauważ, że dla modelu z 1 zmienną niezależną p = 3 (współczynnik x, stała i ) $\sigma^2$

Co oznacza, że tak otrzymujesz ich odpowiedź:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

Glen_b - Przywróć Monikę
źródło

Dlaczego w obliczeniach

dzielisz tylko przez

a nie

s^{2}

$s^2$

n

$n$

n - p

$n-p$

Luke Thorburn,

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

Glen_b - Przywróć Monikę

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

AICFunkcja daje $2k -2 \log L$ , gdzie $L$ jest prawdopodobieństwo i $k$ is the number of estimated parameters (including the intercept, & the variance). You're using $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ , where $S_{\mathrm{r}}$ is the residual sum of squares, & $n$ is the sample size. These formulæ differ by an additive constant; so long as you're using the same formula & looking at differences in AIC between different models where the constants cancel, it doesn't matter.

Scortchi - Reinstate Monica
źródło