Czy model nasycony jest specjalnym przypadkiem modelu przebudowanego?

10

Próbuję zrozumieć, czym jest model nasycony. AFAIK ma miejsce, gdy masz tyle funkcji, co obserwacji.

Czy możemy powiedzieć, że model nasycony jest specjalnym przypadkiem wyjątkowo przebudowanego modelu?

Ricardo Cruz
źródło
2
Nie do końca - myślę, że nasycony model wykorzystał wszystkie stopnie swobody. To zależy od modelu, co to dokładnie znaczy. W modelu logarytmiczno-liniowym, na przykład uwzględnienie wszystkich interakcji w modelu powoduje, że jest on nasycony, ponieważ df = 0, ale nie jest przeregulowany.
tomka
Ten thead ma dobrą dyskusję na ten temat: stats.stackexchange.com/questions/283/what-is-a-saturated-model
DL Dahly

Odpowiedzi:

6

@ Tomka ma rację. Model nasycony pasuje do jak największej liczby parametrów dla danego zestawu predyktorów, ale to, czy jest on nadmiernie dopasowany, czy nie, zależy od liczby obserwacji dla każdego unikalnego wzorca predyktorów. Załóżmy, że masz model liniowy ze 100 obserwacjami na i 100 na . Następnie model jest nasycony, ale na pewno nie jest nadmiernie dopasowany. Ale jeśli masz jedną obserwację dla każdego z model jest nasycony i idealnie dopasowany - bez wątpienia nadmiernie dopasowany .yx=0x=1EY=β0+β1xyx=(0,1,2,3,4)TEY=β0+β1x+β2x2+β3x3+β4x4

Kiedy ludzie mówią o modelach nasyconych posiadających tyle parametrów, co obserwacje, tak jak w połączonej stronie internetowej i poście z CV, zakładają kontekst jednej obserwacji dla każdego wzorca predykcyjnego. (A może czasem inaczej używa się „obserwacji” - czy 100 osób w tabeli kontyngencji 2 × 2 100 obserwacji osób lub 4 obserwacje częstotliwości komórek?)

Nawiasem mówiąc, nie bierz dosłownie „na pewno” i „bez wątpienia”. Możliwe jest , że w pierwszym modelu jest tak mały w porównaniu z , że lepiej przewidzieć, nie próbując go oszacować, i odwrotnie, w drugim.β1VarY

Scortchi - Przywróć Monikę
źródło
Fajny przykład mapowania x = {0,1} na 100 lat, dziękuję. Czy powiedziałbyś wtedy, że ta definicja jest niedokładna: stats.gla.ac.uk/glossary/?q=node/448 ?
Ricardo Cruz,
Powiedziałbym dokładnie to, co powiedziałem w drugim akapicie - przy założeniu, że kontekst i ogólniejsza definicja mogą być lepsze.
Scortchi - Przywróć Monikę