Jeśli test t i ANOVA dla dwóch grup są równoważne, dlaczego ich założenia nie są równoważne?

47

Jestem pewien, że mam to całkowicie owinięte wokół głowy, ale nie mogę tego rozgryźć.

Test t porównuje dwa rozkłady normalne przy użyciu rozkładu Z. Dlatego w DANYCH założono normalność.

ANOVA jest równoważna regresji liniowej ze zmiennymi fikcyjnymi i wykorzystuje sumy kwadratów, podobnie jak OLS. Dlatego istnieje założenie o normalności RESIDUALS.

Zajęło mi to kilka lat, ale myślę, że w końcu zrozumiałem te podstawowe fakty. Dlaczego więc test t jest równoważny ANOVA z dwiema grupami? Jak mogą być równoważne, jeśli nawet nie zakładają tego samego o danych?

distributions regression normality-assumption t-test anova Chris Beeley
źródło
15
Jeden punkt: testy t używają rozkładu t, a nie rozkładu Z
Jeromy Anglim,
1
Mimo że pytanie jest nieprawidłowe, jest bardzo przydatne. Myślę też, że wymienienie gdzieś „dwustronnego testu t” sprawi, że pytania / odpowiedzi będą bardziej kompletne.
Gaurav Singhal

Odpowiedzi:

29

Test t z dwiema grupami zakłada, że ​​każda grupa jest normalnie rozłożona z tą samą wariancją (chociaż średnie mogą się różnić w ramach alternatywnej hipotezy). Jest to równoważne z regresją ze zmienną fikcyjną, ponieważ regresja pozwala na różnicę w średniej dla każdej grupy, ale nie na wariancję. Stąd reszty (równe danym z odjętymi średnimi grupy) mają ten sam rozkład - to znaczy, że są zwykle rozkładane ze średnią zerową.

Test t z nierównymi wariancjami nie jest równoważny jednokierunkowej ANOVA.

Rob Hyndman
źródło
3
Mogę znaleźć cytat, ale łatwo go przetestować empirycznie. F z ANOVA z dwiema grupami jest dokładnie równe t ^ 2, a wartości p będą dokładnie takie same. Jedynym powodem, dla którego nie byłby równoważny w przypadku nierównych odchyleń, jest zastosowanie korekty. W przeciwnym razie są takie same.
Brett,
3
Test F to uogólnienie testu t. Test t służy do porównania 2 zabiegów, a test F do wielu zabiegów. Wyprowadzenie znajduje się w projekcie statystycznym Caselli, rozdział 3 i 4. Jednakże, jak zauważa prof. Hyndman, przy nierównych wariancjach, nie jest to już test t. To jest problem Fishera Behrena. Zasadniczo nie używamy rozwiązania Fishera, zamiast tego stosujemy Test Welcha lub podejście bayesowskie.
suncoolsu
Dwupróbkowy test t z nierównymi wariancjami jest rzeczywiście równy jednokierunkowej ANOVA z dwiema grupami. Być może chodziło Ci o to, że test t wykorzystujący korektę dla nierównych wariancji (tj. Welcha) nie jest tym samym, co jednostronna ANOVA, która nie jest korygowana (choć dlaczego mieliby być)?
Brett
20

Test t jest po prostu specjalnym przypadkiem testu F, w którym porównywane są tylko dwie grupy. Wynik obu będzie dokładnie taki sam pod względem wartości p, a także istnieje prosta zależność między statystykami F it. F = t ^ 2. Dwa testy są algebraicznie równoważne, a ich założenia są takie same.

W rzeczywistości równoważności te obejmują całą klasę ANOVA, testy t i modele regresji liniowej. Test t jest szczególnym przypadkiem ANOVA. ANOVA jest szczególnym przypadkiem regresji. Wszystkie te procedury są uwzględnione w ogólnym modelu liniowym i mają te same założenia.

  1. Niezależność obserwacji.
  2. Normalność reszt = normalność w każdej grupie w szczególnym przypadku.
  3. Równa wariancja reszt = równe wariancje między grupami w szczególnym przypadku.

Możesz myśleć o tym jak o normalności w danych, ale sprawdzasz normalność w każdej grupie - co w rzeczywistości jest tym samym, co sprawdzanie normalności w resztach, gdy jedynym predyktorem w modelu jest wskaźnik grupy. Podobnie z równymi wariancjami.

Na marginesie, R nie ma osobnych procedur dla ANOVA. Funkcje anova w R są tylko opakowaniami w funkcję lm () - to samo, co służy do dopasowania modeli regresji liniowej - spakowane nieco inaczej, aby dostarczyć to, co zwykle znajduje się w podsumowaniu ANOVA, a nie w podsumowaniu regresji.

Brett
źródło
Byłbym zainteresowany, aby wiedzieć, jak dopasować modele ANOVA z powtarzanymi pomiarami przy użyciu lm.
AndyF,
1
Zagadnienia kodowania zmiennych kategorialnych, równoważności modeli regresji i ANOVA oraz kodowania regresji dla powtarzanych pomiarów opisano w tym artykule. dionysus.psych.wisc.edu/Lit/Topics/Statistics/Contrasts/... Oto cytat ... Wendorf, CA (2004). Podkład w kodowaniu wielokrotnej regresji: wspólne formy i dodatkowy przypadek powtarzających się kontrastów. Zrozumienie statystyki 3, 47–57.
Brett,
4
@AndyF Nie lm(), chyba że przejdziesz do mieszanych modeli z pakietem nlmelub lme4, ale istnieje wygodny sposób na obsługę powtarzanych pomiarów poprzez odpowiednią specyfikację Errorterminu aov(), zobacz więcej szczegółów na temat samouczka Baron i Li, §6.9, j.mp/ c5ME4u
chl
@AndyF aov()jest zbudowany na górze lm()funkcji, ale zawiera dodatkowy argument, nazywany Specjalnymi warunkami, takimi jak Error.
chl
aov () to po prostu opakowanie na lm (). Robi trochę kodowania kontrastu za kulisami i pakuje wynik w stylu ANOVA. Wszystko to jest modelowane przez lm (). W artykule, o którym wspomniałem powyżej, opisano, jak skonfigurować kodowanie w celu wykonywania powtarzających się kontrastów w modelach regresji, w tym lm ().
Brett,
17

Całkowicie zgadzam się z odpowiedzią Roba, ale powiem to inaczej (używając wikipedii):

Założenia ANOVA :

  • Niezależność przypadków - jest to założenie modelu upraszczającego analizę statystyczną.
  • Normalność - rozkłady reszt są normalne.
  • Równość (lub „jednorodność”) wariancji, zwana homoscedastycznością

Założenia testu t :

  • Każda z dwóch porównywanych populacji powinna mieć normalny rozkład ...
  • ... dwie porównywane populacje powinny mieć tę samą wariancję ...
  • Dane wykorzystane do przeprowadzenia testu powinny zostać pobrane niezależnie od dwóch porównywanych populacji.

Dlatego odrzuciłbym pytanie, ponieważ mają one oczywiście te same założenia (chociaż w innej kolejności :-)).

Henrik
źródło
Zobacz komentarz do Roba.
Alexis
@Alexis Nie jestem pewien, czy rozumiem twoje zdanie. Możesz rozwinąć temat.
Henrik
Drugie założenie testu t jest nieprawdziwe. Oryginalna praca studenta przyjęła to, ale „nierówne wariancje” są dość powszechnym założeniem w późniejszym leczeniu testu.
Alexis
5

Jeden oczywisty punkt, który wszyscy przeoczyli: w ANOVA testujesz zero, że średnia jest identyczna niezależnie od wartości twoich zmiennych objaśniających. Za pomocą testu T można również przetestować jednostronny przypadek, że średnia jest konkretnie większa dla jednej wartości zmiennej objaśniającej niż dla drugiej.

dsimcha
źródło
1
O ile się nie mylę, to NIE jest różnica. Jeśli wykonasz ANOVA na dwóch grupach, możesz wykonać „test jednostronny” tak samo, jak w teście t. Umieszczam „test jednostronny” w cudzysłowie, ponieważ tak naprawdę nie ma różnicy w „teście” między „testem jednostronnym” a „testem dwustronnym”. Jedyną różnicą jest sposób interpretacji istotności statystycznej wartości p. Zatem jednostronne kontra dwustronne „testy” są dokładnie tym samym „testem”. Tylko sposób prawidłowej interpretacji wyników jest inny.
Tripartio
-3

Wolę używać testu t do porównywania dwóch grup i będę używać ANOVA dla więcej niż 2 grup, z powodów. Ważnym powodem jest założenie równych wariancji.

syed
źródło
5
Witamy na stronie, @syed. Czy mógłbyś rozwinąć swoją odpowiedź? Na przykład, o jakich „powodach” mówisz? Należy zauważyć, że zarówno test t, jak i ANOVA zakładają równe wariancje.
gung - Przywróć Monikę