Jak interpretować ANOVA typu I, typu II i typu III i MANOVA?

45

Moje podstawowe pytanie brzmi: jak interpretować wynik (współczynniki, F, P) podczas przeprowadzania ANOVA typu I (sekwencyjnego)?

Mój konkretny problem badawczy jest nieco bardziej złożony, dlatego podzielę mój przykład na części. Po pierwsze, jeśli interesuje mnie wpływ gęstości pająków (X1) na powiedzmy wzrost roślin (Y1) i sadziłem sadzonki w zagrodach i manipulowałem gęstością pająków, to mogę analizować dane za pomocą prostej ANOVA lub regresji liniowej. Wtedy nie miałoby to znaczenia, jeśli użyłem Typu I, II lub III Sumy Kwadratów (SS) dla mojej ANOVA. W moim przypadku mam 4 powtórzenia 5 poziomów gęstości, więc mogę użyć gęstości jako czynnika lub zmiennej ciągłej. W tym przypadku wolę interpretować go jako ciągłą zmienną niezależną (predyktorową). W RI może działać następujące:

lm1 <- lm(y1 ~ density, data = Ena)
summary(lm1)
anova(lm1)

Miejmy nadzieję, że uruchomienie funkcji anova będzie miało sens później, więc zignoruj ​​tutaj jej dziwność. Dane wyjściowe to:

Response: y1
          Df  Sum Sq Mean Sq F value  Pr(>F)  
density    1 0.48357 0.48357  3.4279 0.08058 .
Residuals 18 2.53920 0.14107 

Powiedzmy, że podejrzewam, że początkowy poziom nieorganicznego azotu w glebie, którego nie mogłem kontrolować, mógł również znacząco wpłynąć na wzrost rośliny. Nie jestem szczególnie zainteresowany tym efektem, ale chciałbym potencjalnie uwzględnić zmienność, którą powoduje. Naprawdę, moim głównym zainteresowaniem są efekty gęstości pająków (hipoteza: zwiększona gęstość pająków powoduje wzrost roślin - przypuszczalnie poprzez redukcję owadów roślinożernych, ale testuję tylko efekt, a nie mechanizm). Mógłbym dodać efekt nieorganicznego N do mojej analizy.

Ze względu na moje pytanie, udawajmy, że testuję gęstość interakcji * nieorganicznaN i jest ona nieistotna, więc usuwam ją z analizy i uruchamiam następujące główne efekty:

> lm2 <- lm(y1 ~ density + inorganicN, data = Ena)
> anova(lm2)
Analysis of Variance Table

Response: y1
           Df  Sum Sq Mean Sq F value  Pr(>F)  
density     1 0.48357 0.48357  3.4113 0.08223 .
inorganicN  1 0.12936 0.12936  0.9126 0.35282  
Residuals  17 2.40983 0.14175 

Teraz robi to różnicę, czy używam SS typu I, czy II (wiem, że niektórzy ludzie sprzeciwiają się terminom Typu I i II itd., Ale biorąc pod uwagę popularność SAS, jest to łatwe w skrócie). R anova {stats} domyślnie używa typu I. Mogę obliczyć gęstość SS, F i P typu II, odwracając kolejność moich głównych efektów lub mogę użyć pakietu „samochodu” dr. Johna Foxa (towarzyszącego regresji stosowanej). Wolę tę drugą metodę, ponieważ łatwiej jest w przypadku bardziej złożonych problemów.

library(car)
Anova(lm2)
            Sum Sq Df F value  Pr(>F)  
density    0.58425  1  4.1216 0.05829 .
inorganicN 0.12936  1  0.9126 0.35282  
Residuals  2.40983 17  

Rozumiem, że hipotezy typu II brzmiałyby: „Nie ma liniowego wpływu x1 na y1, biorąc pod uwagę (utrzymywanie stałej?) X2” i to samo dla x2, biorąc pod uwagę x1. Myślę, że to jest miejsce, w którym się mylę. Jaka hipoteza jest testowana przez ANOVA przy użyciu powyższej metody typu I (sekwencyjnej) w porównaniu z hipotezą przy użyciu metody typu II?

W rzeczywistości moje dane są nieco bardziej złożone, ponieważ zmierzyłem wiele wskaźników wzrostu roślin, a także dynamikę składników odżywczych i rozkład śmieci. Moja faktyczna analiza przypomina:

Y <- cbind(y1 + y2 + y3 + y4 + y5)
# Type II
mlm1 <- lm(Y ~ density + nitrate + Npred, data = Ena)
Manova(mlm1)

Type II MANOVA Tests: Pillai test statistic
        Df test stat approx F num Df den Df  Pr(>F)    
density  1   0.34397        1      5     12 0.34269    
nitrate  1   0.99994    40337      5     12 < 2e-16 ***
Npred    1   0.65582        5      5     12 0.01445 * 


# Type I
maov1 <- manova(Y ~ density + nitrate + Npred, data = Ena)
summary(maov1)

          Df  Pillai approx F num Df den Df  Pr(>F)    
density    1 0.99950     4762      5     12 < 2e-16 ***
nitrate    1 0.99995    46248      5     12 < 2e-16 ***
Npred      1 0.65582        5      5     12 0.01445 *  
Residuals 16                                           
djhocking
źródło

Odpowiedzi:

71

nn11n12n21n22r=.1rjest „znaczący”, to cała populacja, na której ci zależy). Problem z korelacją czynników polega na tym, że istnieją sumy kwadratów powiązane zarówno z A, jak i B. Przy obliczaniu ANOVA (lub dowolnej innej regresji liniowej) chcemy podzielić sumy kwadratów. Partycja umieszcza wszystkie sumy kwadratów w jednym i tylko jednymz kilku podzbiorów. (Na przykład, możemy chcieć podzielić SS na A, B i błąd.) Jednak ponieważ twoje czynniki (wciąż tylko A i B tutaj) nie są ortogonalne, nie ma unikalnego podziału tych SS. W rzeczywistości może być bardzo wiele partycji, a jeśli chcesz podzielić SS na części (np. „Włożę .5 do tego bin i .5 do tego”), istnieją nieskończone partycje. Sposobem na zwizualizowanie tego jest wyobrażenie sobie symbolu MasterCard: prostokąt reprezentuje całkowitą SS, a każde z kół reprezentuje SS, które można przypisać temu czynnikowi, ale zauważcie nakładanie się okręgów w środku, te SS można podać do dowolnego koła.

wprowadź opis zdjęcia tutaj

Pytanie brzmi: jak wybrać „właściwą” partycję spośród wszystkich tych możliwości? Przywróćmy interakcję i omówmy kilka możliwości:

SS typu I:

  • SS (A)
  • SS (B | A)
  • SS (A * B | A, B)

SS typu II:

  • SS (A | B)
  • SS (B | A)
  • SS (A * B | A, B)

SS typu III:

  • SS (A | B, A * B)
  • SS (B | A, A * B)
  • SS (A * B | A, B)

Zauważ, jak działają te różne możliwości. Tylko SS typu I faktycznie używa tych SS w nakładającej się części między okręgami w symbolu MasterCard. Oznacza to, że SS, które można przypisać A lub B, faktycznie przypisywane jednemu z nich, gdy używasz SS typu I (konkretnie tego, który wprowadziłeś do modelu jako pierwszy). W obu pozostałych podejściach nakładające się SS w ogóle nie są używane . Zatem typ I SS daje A wszystkie SS przypisane A (w tym te, które można by również przypisać gdzie indziej), a następnie daje B wszystkie pozostałe SS, które można przypisać B, a następnie daje wszystkie interakcje A * B z pozostałychSS, które można przypisać do A * B, i pozostawia resztki, których nie można przypisać cokolwiek do terminu błędu.

SS typu III daje A tylko SS, które można jednoznacznie przypisać A, podobnie daje tylko B, a interakcja SS, które można jednoznacznie przypisać. Termin błędu powoduje tylko te SS, których nie można przypisać żadnemu z czynników. Dlatego te „dwuznaczne” SS, które można przypisać 2 lub więcej możliwościom, nie są wykorzystywane. Jeśli zsumujesz SS typu III w tabeli ANOVA, zauważysz, że nie są one równe sumie SS. Innymi słowy, analiza ta musi być błędna, ale błędna w sposób epistemicznie konserwatywny. Wielu statystów uważa to podejście za rażące, jednak rządowe agencje finansujące (uważam, że FDA) wymagają ich zastosowania.

Podejście typu II ma na celu uchwycenie tego, co może być opłacalne w koncepcji typu III, ale złagodzenie jego ekscesów. W szczególności dostosowuje tylko SS dla A i B, a nie interakcję. Jednak w praktyce SS typu II zasadniczo nigdy nie jest używany. Musisz wiedzieć o tym wszystkim i być na tyle bystry ze swoim oprogramowaniem, aby uzyskać te szacunki, a analitycy, którzy zwykle uważają, że to jest prycza.

Istnieje więcej rodzajów SS (wierzę IV i V). Pod koniec lat 60. zasugerowano im, aby poradzili sobie z pewnymi sytuacjami, ale później wykazano, że nie robią tego, co sądzono. Dlatego w tym momencie są one tylko historycznym przypisem.

Jeśli chodzi o pytania, na które odpowiadają, zasadniczo masz już takie prawo w swoim pytaniu:

  • Szacunki przy użyciu SS typu I wskazują, jak dużą zmienność Y można wytłumaczyć A, ile resztkowej zmienności można wytłumaczyć B, ile pozostałej zmienności resztkowej można wytłumaczyć interakcją i tak dalej, w porządku .
  • Szacunki oparte na SS typu III wskazują, ile resztkowej zmienności w Y może być uwzględnione przez A po uwzględnieniu wszystkiego innego, a ile resztkowej zmienności w Y może być uwzględnione przez B po uwzględnieniu wszystkiego innego i tak dalej. (Pamiętaj, że oba kończą się jednocześnie na pierwszym i na ostatnim; jeśli ma to dla ciebie sens i dokładnie odzwierciedla twoje pytanie badawcze, użyj SS typu III).
gung - Przywróć Monikę
źródło
2
dziękuję za bardzo pomocną odpowiedź. Innym obszarem, w którym się mylę, jest to, że jeśli „Szacunki przy użyciu SS typu I wskazują, ile zmienności w Y można wytłumaczyć A, ile resztkowej zmienności można wytłumaczyć B, a ile pozostałej resztkowej zmienność można wytłumaczyć interakcją i tak dalej, w kolejności „dlaczego zatem statystyki kojarzą się z A, gdy dodawane są dodatkowe zmienne? Czy to dlatego, że testy oparte są na SS (A) / SS (błąd), a błąd jest funkcją wszystkich terminów w modelu? Czy myślę o tym poprawnie?
djhocking
1
Przez „statystyki związane z A” interpretuję cię jako wartość F i p dla głównego efektu A. Wartość F dla A jest stosunkiem średniej kwadratowej dla A (tj. SSA / dfA) do Błąd MS. W miarę dodawania kolejnych czynników SS są pobierane z terminu błędu i podawane tym czynnikom. Ogólnie oznacza to, że błąd MS maleje, a zatem stosunek rośnie. W rezultacie wartość F dla A staje się większa, a wartość p maleje. Ponieważ zmieniają się również stopnie swobody, może to być bardziej skomplikowane, ale to jest sedno.
gung - Przywróć Monikę
Ups, miałem na myśli MS (A) / MSE dla statystyki F. W każdym razie twoja odpowiedź jest idealna, jeszcze raz dziękuję za całą twoją pomoc!
djhocking
Jestem ciekawy szczegółów interpretacji przy użyciu typu I. W moim przypadku gęstość jest moją jedyną zmienną zainteresowania i jedyną, którą eksperymentowałem. Jakkolwiek niefortunne, gęstość sama w sobie jest niewielka lub po uwzględnieniu moich dwóch innych interesujących zmiennych (Npredators, nieorganicznyN w typie II lub III). Ale ponieważ inorganicN najwyraźniej tłumaczy dużą zmienność niektórych zmiennych zależnych, gdy dodam ją jako trzecią zmienną, pozostałe 2 są bardzo znaczące. Czy zatem gęstość naprawdę ma znaczący wpływ na Y? Czy to rozsądne?
djhocking
2
@JonBonJovi, analogia MasterCard ma tylko 2 czynniki. Jeśli chcesz 2 czynniki plus interakcja, potrzebujesz 3 obszarów, które nieco się pokrywają. Z pewnością można narysować schemat Eulera z 3 obszarami, ale dla uproszczenia użyłem symbolu MasterCard. W przypadku interakcji wyobraź sobie trzeci okrąg, który zachodzi na pierwsze 2 (np. Mógłby być wyśrodkowany od prawej do lewej, ale głównie ponad pozostałymi); wtedy całe koło A (SS) przejdzie do A, wszystko w B , co nie zachodzi na A, przechodzi do B, a wszystko w B, które nie zachodzą na siebie *, A lub B przechodzi do interakcji.
Gung - Przywróć Monikę