Znaczenie „liczby parametrów” w AIC

21

Podczas obliczania AIC

AIC=2k2lnL

k oznacza „liczbę parametrów”. Ale co liczy się jako parametr? Na przykład w modelu

y=ax+b

Czy aib są zawsze liczone jako parametry? Co jeśli nie dbam o wartość przechwytywania, czy mogę to zignorować, czy nadal się liczy?

Co jeśli

y=af(c,x)+b

gdzie jest funkcją c i x, czy teraz liczę 3 parametry?f

Sideshow Bob
źródło
9
To dobre pytanie, ponieważ istnieje subtelność: to liczba możliwych do zidentyfikowania parametrów do oszacowania. Na przykład, chociaż w modelu regresji zapisanych jest pięć parametrów, niemniej jednak . (Ten model jest równoważny z i , który wyraźnie potrzebuje tylko czterech parametrów .)kYN(β0+β1X1+β2X2+β3(X1+X2),σ2) Y N ( β 0 + α 1 X 1 + α 2 X 2 , σ 2 ) α 1 = β 1 + β 3 α 2 = β 2 + β 3k=4YN(β0+α1X1+α2X2,σ2)α1=β1+β3α2=β2+β3
whuber
3
Ściśle mówiąc, liczy się wszystkie możliwe do zidentyfikowania, wolne parametry - parametry średnie, parametry kształtu i skali, cokolwiek (i to ma znaczenie dla AIC C ), ale dla AIC nie ma znaczenia, jeśli pominie się parametry wspólne dla porównywanych modeli. Na przykład w regresji należy policzyć parametr wariancji. Dlatego, według mojej liczby, wszystkie liczby parametrów w twoim pytaniu są jedno krótkie - ale jeśli jest dokładnie jeden we wszystkich modelach, nie zaszkodzi upuścić go dla AIC. R jawnie zlicza parametr wariancji podczas obliczania AIC w modelach regresji. C
Glen_b
@whuber Dlaczego ten doskonały komentarz nie został zamieszczony jako odpowiedź? :)
Alexis
Dziękuję @Alexis. Umieściłem tę myśl w komentarzu, ponieważ pomysł jest odpowiednio ujęty w odpowiedzi P. Schnella: Chciałem tylko podkreślić ją nieco bardziej.
whuber

Odpowiedzi:

17

Jak wspomniano mugen, reprezentuje liczbę oszacowanych parametrów . Innymi słowy, jest to liczba dodatkowych ilości, które musisz znać, aby w pełni określić model. W prostym modelu regresji liniowej y = a x + b można oszacować a , b lub oba. Niezależnie od ilości, których nie szacujesz, musisz je naprawić. Nie ma „ignorowania” parametru w tym sensie, że go nie znasz i nie przejmujesz się nim. Najczęstszym modelem, który nie oszacować zarówno A i B to model bez wyrazu, gdzie naprawić b = 0k

y=ax+b
ababb=0. Będzie to miało 1 parametr. Równie łatwo możesz naprawić lub b = 1, jeśli masz powód, by sądzić, że odzwierciedla rzeczywistość. (Punkt dokładny : σ jest również parametrem w prostej regresji liniowej, ale ponieważ istnieje w każdym modelu, możesz go upuścić bez wpływu na porównania AIC.)a=2b=1σ

Jeśli twoim modelem jest liczba parametrów zależy od tego, czy naprawisz którąkolwiek z tych wartości, oraz od formy f . Na przykład, jeśli chcemy oszacować a , b , c i wiedzieć, że f ( c , x ) = x c , to kiedy wypisujemy model, mamy y = a x c + b z trzema nieznanymi parametrami. Jeżeli jednak f ( c ,

y=af(c,x)+b
fa,b,cf(c,x)=xc
y=axc+b
, wtedy mamy model y = a c x + b, który tak naprawdę ma tylko dwa parametry: a c i b .f(c,x)=cx
y=acx+b
acb

Ważne jest, aby była rodziną funkcji indeksowanych przez c . Jeśli wszystko, co wiesz, to że f ( c , x ) jest ciągłe i zależy od c i x , oznacza to, że nie masz szczęścia, ponieważ istnieje niezliczona liczba funkcji ciągłych.f(c,x)cf(c,x)cx

P. Schnell
źródło
2
(+1) Być może warto wspomnieć, że w całym wyrażeniu „oszacowanie” oznacza „oszacowanie według maksymalnego prawdopodobieństwa”.
Scortchi - Przywróć Monikę
f(c,x)ccr2c
2
@SideshowBob: Tak - przy porównywaniu dwóch modeli różnica maksymalnych prawdopodobieństw dziennika jest tendencyjnym estymatorem różnicy w oczekiwanej utracie informacji Kullbacka-Leiblera, a kara w AIC w przybliżeniu koryguje to obciążenie.
Scortchi - Przywróć Monikę
1
@SideshowBob: Powinienem wspomnieć, że istnieją modyfikacje AIC dla uogólnionych równań szacunkowych i tym podobne - używają zmaksymalizowanego quasi-prawdopodobieństwa i raczej bardziej złożonego terminu kary.
Scortchi - Przywróć Monikę
4

AIC=2k2ln(L)

(patrz tutaj )

k

k

Nie mam wystarczającej wiedzy, aby odpowiedzieć na twoje drugie pytanie, pozostawię to innemu członkowi społeczności.

mugen
źródło
1
λ
1
Tak na pewno.
PA6OTA
1

Po pierwsze, dla tych, którzy mogą nie być zaznajomieni z AIC: Akaike Information Criterion (AIC) to prosta miara zaprojektowana w celu porównania „dobroci” modeli.

Według AIC, próbując wybrać między dwoma różnymi modelami stosującymi się do tych samych zmiennych wejściowych i zmiennych odpowiedzi , tj. Modelami zaprojektowanymi w celu rozwiązania tego samego problemu, model z niższym AIC jest uważany za „lepszy”.

k

cf(c,x)k

arielf
źródło