Znaczenie „liczby parametrów” w AIC

21

Podczas obliczania AIC

$AIC = 2k - 2 ln L$

k oznacza „liczbę parametrów”. Ale co liczy się jako parametr? Na przykład w modelu

$y = ax + b$

Czy aib są zawsze liczone jako parametry? Co jeśli nie dbam o wartość przechwytywania, czy mogę to zignorować, czy nadal się liczy?

Co jeśli

$y = a f(c,x) + b$

gdzie jest funkcją c i x, czy teraz liczę 3 parametry? $f$

aic Sideshow Bob
źródło

9

To dobre pytanie, ponieważ istnieje subtelność: to liczba możliwych do zidentyfikowania parametrów do oszacowania. Na przykład, chociaż w modelu regresji zapisanych jest pięć parametrów, niemniej jednak . (Ten model jest równoważny z i , który wyraźnie potrzebuje tylko czterech parametrów .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

whuber

3

Ściśle mówiąc, liczy się wszystkie możliwe do zidentyfikowania, wolne parametry - parametry średnie, parametry kształtu i skali, cokolwiek (i to ma znaczenie dla AIC

), ale dla AIC nie ma znaczenia, jeśli pominie się parametry wspólne dla porównywanych modeli. Na przykład w regresji należy policzyć parametr wariancji. Dlatego, według mojej liczby, wszystkie liczby parametrów w twoim pytaniu są jedno krótkie - ale jeśli jest dokładnie jeden we wszystkich modelach, nie zaszkodzi upuścić go dla AIC. R jawnie zlicza parametr wariancji podczas obliczania AIC w modelach regresji.

_{C}

$_C$

Glen_b

@whuber Dlaczego ten doskonały komentarz nie został zamieszczony jako odpowiedź? :)

Alexis

Dziękuję @Alexis. Umieściłem tę myśl w komentarzu, ponieważ pomysł jest odpowiednio ujęty w odpowiedzi P. Schnella: Chciałem tylko podkreślić ją nieco bardziej.

whuber

17

Jak wspomniano mugen, reprezentuje liczbę oszacowanych parametrów . Innymi słowy, jest to liczba dodatkowych ilości, które musisz znać, aby w pełni określić model. W prostym modelu regresji liniowej można oszacować , lub oba. Niezależnie od ilości, których nie szacujesz, musisz je naprawić. Nie ma „ignorowania” parametru w tym sensie, że go nie znasz i nie przejmujesz się nim. Najczęstszym modelem, który nie oszacować zarówno i to model bez wyrazu, gdzie naprawić $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Będzie to miało 1 parametr. Równie łatwo możesz naprawić

lub

jeśli masz powód, by sądzić, że odzwierciedla rzeczywistość. (Punkt

:

jest również parametrem w prostej regresji liniowej, ale ponieważ istnieje w każdym modelu, możesz go upuścić bez wpływu na porównania AIC.)

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$

Jeśli twoim modelem jest liczba parametrów zależy od tego, czy naprawisz którąkolwiek z tych wartości, oraz od formy . Na przykład, jeśli chcemy oszacować i wiedzieć, że , to kiedy wypisujemy model, mamy z trzema nieznanymi parametrami. Jeżeli jednak

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

, wtedy mamy model

który tak naprawdę ma tylko dwa parametry:

i

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Ważne jest, aby była rodziną funkcji indeksowanych przez . Jeśli wszystko, co wiesz, to że jest ciągłe i zależy od i , oznacza to, że nie masz szczęścia, ponieważ istnieje niezliczona liczba funkcji ciągłych. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

P. Schnell
źródło

2

(+1) Być może warto wspomnieć, że w całym wyrażeniu „oszacowanie” oznacza „oszacowanie według maksymalnego prawdopodobieństwa”.

Scortchi - Przywróć Monikę

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SideshowBob: Tak - przy porównywaniu dwóch modeli różnica maksymalnych prawdopodobieństw dziennika jest tendencyjnym estymatorem różnicy w oczekiwanej utracie informacji Kullbacka-Leiblera, a kara w AIC w przybliżeniu koryguje to obciążenie.

Scortchi - Przywróć Monikę

1

@SideshowBob: Powinienem wspomnieć, że istnieją modyfikacje AIC dla uogólnionych równań szacunkowych i tym podobne - używają zmaksymalizowanego quasi-prawdopodobieństwa i raczej bardziej złożonego terminu kary.

Scortchi - Przywróć Monikę

4

$\mathit{AIC} = 2k - 2\ln(L)$

(patrz tutaj )

$k$

Nie mam wystarczającej wiedzy, aby odpowiedzieć na twoje drugie pytanie, pozostawię to innemu członkowi społeczności.

mugen
źródło

1

λ

$\lambda$

1

Tak na pewno.

PA6OTA

1

Po pierwsze, dla tych, którzy mogą nie być zaznajomieni z AIC: Akaike Information Criterion (AIC) to prosta miara zaprojektowana w celu porównania „dobroci” modeli.

Według AIC, próbując wybrać między dwoma różnymi modelami stosującymi się do tych samych zmiennych wejściowych i zmiennych odpowiedzi , tj. Modelami zaprojektowanymi w celu rozwiązania tego samego problemu, model z niższym AIC jest uważany za „lepszy”.

$k$

c $f(c, x)$ $k$

arielf
źródło

Znaczenie „liczby parametrów” w AIC

Odpowiedzi: