Logika testu F ANOVA w prostej regresji liniowej

17


Próbuję zrozumieć logikę testu F ANOVA w prostej analizie regresji liniowej. Pytanie, które mam, jest następujące. Gdy wartość F, tj. MSR/MSEJest duża, akceptujemy model jako znaczący. Jaka jest logika tego?

Nie mogę powiedzieć
źródło
@ Can'tTell Pomoc na temat formatowania można znaleźć tutaj: stats.stackexchange.com/editing-help

Odpowiedzi:

21

W najprostszym przypadku, gdy masz tylko jeden predyktor (regresja prosta), powiedzmy , test F mówi, czy włączenie X 1 wyjaśnia większą część wariancji obserwowanej w Y w porównaniu do modelu zerowego (tylko przechwytywanie) . Chodzi o to, aby sprawdzić, czy dodana wyjaśniona wariancja (wariancja całkowita, TSS, minus wariancja resztkowa, RSS) jest wystarczająco duża, aby uznać ją za „znaczącą ilość”. Porównujemy tutaj model z jednym predyktorem lub zmienną objaśniającą do linii bazowej, która jest po prostu „szumem” (nic oprócz wielkiej średniej).X1FX1Y

Podobnie można obliczyć statystykę w ustawieniu regresji wielokrotnej: w tym przypadku jest to test wszystkich predyktorów zawartych w modelu, co w ramach HT oznacza, że ​​zastanawiamy się, czy któryś z nich jest przydatny w przewidywaniu odpowiedzi zmienna. To jest powód, dla którego możesz napotkać sytuacje, w których test F dla całego modelu jest znaczący, podczas gdy niektóre t lub zFFtz testy powiązane z każdym współczynnikiem regresji nie są.

W wygląda jak statystykiF

F=(TSSRSS)/(p1)RSS/(np),

gdzie jest liczbą parametrów modelu, a n liczbą obserwacji. Ilość tę należy odnieść do F p - 1 , n - ppnFp1,np rozkładu dla wartości krytycznej lub . Dotyczy to również prostego modelu regresji i oczywiście ma pewną analogię do klasycznego frameworka ANOVA.p

Dygresja. Jeśli masz więcej niż jeden predyktor, możesz się zastanawiać, czy rozważenie tylko podzbioru tych predyktorów „obniża” jakość dopasowania modelu. Odpowiada to sytuacji, w której rozważamy modele zagnieżdżone . Jest to dokładnie taka sama sytuacja jak powyżej, w której porównujemy dany model regresji z modelem zerowym (bez predyktorów). Aby ocenić zmniejszenie wyjaśnionej wariancji, możemy porównać resztkową sumę kwadratów (RSS) z obu modeli (to znaczy, co pozostaje niewyjaśnione, gdy weźmie się pod uwagę wpływ predyktorów obecnych w modelu). Niech i M 1 oznaczają model podstawowy (z pM0M1p ) oraz model z dodatkowym predyktorem ( ), a następnie, jeśli RSS M 1 - RSS M 0 jest mały, uważamy, że mniejszy model działa tak dobrze, jak większy. Dobrą statystyką do zastosowania byłby stosunek takich SS, ( RSS M 1 - RSS M 0 ) / RSS M 0 , ważony ich stopniami swobody ( p - q dla licznika, a n - pq=p+1RSSM1RSSM0(RSSM1RSSM0)/RSSM0pqnp dla mianownika). Jak już wspomniano, można było wykazać, że ilość ta jest następstwem rozkładu (lub Fisher Snedecora) z P - Q i n - sFpqnp stopniach swobody . Jeśli obserwowane jest większe niż odpowiadający mu kwantyl F przy danym α (zazwyczaj α = 0,05 ), to wyciągnęlibyśmy wniosek, że większy model stanowi „lepszą pracę”. (To wcale nie oznacza, że ​​model jest poprawny z praktycznego punktu widzenia!)FFαα=0.05

Uogólnieniem powyższego pomysłu jest test współczynnika wiarygodności .

Jeśli używasz R, możesz grać z powyższymi pojęciami w następujący sposób:

df <- transform(X <- as.data.frame(replicate(2, rnorm(100))), 
                                   y = V1+V2+rnorm(100))
## simple regression
anova(lm(y ~ V1, df))         # "ANOVA view"
summary(lm(y ~ V1, df))       # "Regression view"
## multiple regression
summary(lm0 <- lm(y ~ ., df))
lm1 <- update(lm0, . ~ . -V2) # reduced model
anova(lm1, lm0)               # test of V2
chl
źródło
@chl - Przede wszystkim fajna odpowiedź! Może to uzasadniać własne pytanie, więc daj mi znać ... ale opisy, które przeczytałem o tabelach ANOVA dla modeli regresji zwykle odnoszą się do trzech wierszy w tabeli: predyktorów, błędów i sumy. Jednak anova()funkcja w R zwraca pojedynczy wiersz dla każdego predyktora w modelu. Na przykład, anova(lm0)wyżej zwraca wiersz V1, V2i Residuals(a nie całości). W związku z tym otrzymujemy dwie statystyki F * dla tego modelu. Jak to zmienia interpretację statystyki F * zgłoszonej w tabeli ANOVA?
Chase
@Case Tak, tabela ANOVA, o której myślę, jest również ułożona w ten sposób. Zadaj pytanie; Chciałbym usłyszeć, co sądzą o tym inni użytkownicy. Ogólnie używam anova()do porównania GLM. Po zastosowaniu do obiektu lmlub aovwyświetla osobne efekty (SS) dla każdego terminu w modelu i nie pokazuje TSS. (Kiedyś stosowałem to na odwrót, mianowicie po dopasowaniu ANOVA aov(), mogę użyć, summary.lm()aby uzyskać pojęcie o kontrastach leczenia.) Jednak istnieją subtelne problemy między, summary.lm()a summary.aov()zwłaszcza związane z dopasowaniem sekwencyjnym.
chl
@Chase Właśnie odkrył to bardzo miłe odpowiedzi od @Gavin o Interpretacja lm R w () wyjściowego .
chl
@chl - Trochę mnie zaskoczyło. To dobra odpowiedź na temat intuicji stojącej za testem F i tego, jak „idzie w dobrym kierunku”. Ale to nie wyjaśnia logiki, dlaczego warto wybrać ten konkretny test. Na przykład, dlaczego nie powinniśmy korzystać ze statystyki PRESS? Ty napomknął w stosunku prawdopodobieństwa - co robi ma logicznego uzasadnienia - stąd jego zastosowanie do wszystkich modeli, w przeciwieństwie do F-testu.
probabilityislogic
@probabilityislogic Dobra uwaga. Moim pomysłem było pokazanie logiki porównania modeli, których prosty model regresji jest tylko szczególnym przypadkiem (w porównaniu z modelem „bardzo zerowym”), co również motywuje szybką notatkę o LRT. Zgadzam się z tobą, jeśli działamy zgodnie z czystym podejściem Neymana-Pearsona do HT. Jednak myślałem głównie w kategoriach teorii LM, w których SS ma bezpośrednią interpretację geometryczną i gdzie porównanie modelu lub pojedynczy test F dla jednokierunkowej ANOVA (...)
chl