Test Kołmogorowa – Smirnowa a test t

14

Mam pewne trudności ze zrozumieniem interpretacji testu 2 próbek KS i tego, jak różni się on od zwykłego testu t między 2 grupami.

Powiedzmy, że mam mężczyzn i kobiety wykonujących pewne zadania i zbieram wyniki z tego zadania. Moim ostatecznym celem jest ustalenie, czy mężczyźni i kobiety wykonują inaczej w tym zadaniu

Więc jedną rzeczą, którą mogłem zrobić, to przeprowadzić test między dwiema grupami. Inną rzeczą, którą mogłem zrobić, to obliczyć ECDF dla mężczyzn i kobiet, wykreślić je i przeprowadzić 2 próbny test KS. Dostałbym coś takiego:

wprowadź opis zdjęcia tutaj

Test KS

Hipoteza zerowa dla testu KS jest taka, że ​​2 zestawy ciągłych rozkładów wyników pochodzą z tej samej populacji

Podczas przeprowadzania testu KS otrzymuję: D = 0,1888, wartość p = 0,04742

Najpierw chcę sprawdzić, czy moja interpretacja wyników jest poprawna. Odrzuciłbym tutaj hipotezę zerową i powiedziałbym, że rozkłady wyników dla mężczyzn i kobiet pochodzą z różnych populacji. Innymi słowy, rozkład wyników mężczyzn i kobiet różni się od siebie.

Mówiąc dokładniej, mężczyźni mają większe prawdopodobieństwo osiągnięcia niższych wyników w tym zadaniu, i to jest różnica między dwiema płciami, jak interpretuję z fabuły

Test T

Teraz w teście przetestuje różnicę między średnimi mężczyzn i kobiet na zmiennej score.

Wyobraźmy sobie przypadek, w którym wydajność mężczyzn jest gorsza niż u kobiet w tym zadaniu. W takim przypadku rozkład wyników męskich będzie wyśrodkowany wokół niskiej średniej, podczas gdy rozkład wyników męskich będzie wyśrodkowany wokół wysokiej średniej. Ten scenariusz byłby zgodny z powyższą fabułą, ponieważ mężczyźni będą mieli większe prawdopodobieństwo osiągnięcia niższych wyników

Jeśli test t okaże się znaczący, doszłbym do wniosku, że kobiety osiągają średnio znacznie wyższy wynik niż mężczyźni. Lub pod względem populacji, wyniki kobiet pochodzą z populacji, której średnia jest wyższa niż populacja mężczyzn, co brzmi bardzo podobnie do wniosku KS, że pochodzą z różnych populacji.

Co za różnica?

Wniosek, który wyciągnęłbym w obu przypadkach testowych KS i t, jest taki sam. Mężczyźni osiągają słabe wyniki w stosunku do kobiet. Jaka jest więc korzyść z używania jednego testu nad drugim? Czy jest jakaś nowa wiedza, którą możesz zdobyć korzystając z testu KS?

Moim zdaniem, mężczyźni z rozkładem skupionym wokół niskiej średniej, a kobiety skupione wokół wysokiej średniej, powodują znaczący test t. Ale przez ten sam fakt samce będą miały większe prawdopodobieństwo uzyskania niższych wartości, co spowodowałoby, że wykres wyglądałby jak powyżej i dałby znaczący test KS. Tak więc wyniki obu testów mają tę samą podstawową przyczynę, ale być może można argumentować, że test KS uwzględnia więcej niż tylko środki rozkładów, a także bierze pod uwagę kształt rozkładu, ale czy można przeanalizować przyczynę znaczącego testu KS na podstawie samych wyników testu?

Jaka jest więc wartość testu KS podczas testu? I załóżmy, że mogę spełnić założenia testu t dla tego pytania

Szymon
źródło
Klasyczny test t jest znacznie gorszy od analizy danych bayesowskich, sprawdź „Bayesian Estimation Johna Kruschkego zastępuje test t” indiana.edu/~kruschke/BEST/BEST.pdf
Vladislavs Dovgalecs
Nie jestem pewien, w jaki sposób test KS odnosi się do metod bayesowskich ...?
Simon
Po prostu przestań używać KS i testu t
Vladislavs Dovgalecs 21.04.16
4
@xeon Jeśli zamierzasz wygłaszać tak mocne stwierdzenia, lepiej je poprzyj. Twoja rada nie przydałaby się w znalezieniu różnicy w przykładzie w mojej odpowiedzi. Dlaczego należy porzucić podejście, które wyraźnie działa na rzecz rozpoznania tej różnicy w rozkładach na korzyść takiego, który tego nie robi?
Glen_b
1
@Glen_b Dlatego napisał komentarz, a nie odpowiedź. Być może OP nie przeczytał gazety, która jest świetna przy okazji; Chciałem tylko to zasugerować. Ale zgadzam się, że wydałem zbyt mocne oświadczenie i zachowałem się trochę snobicznie. Przepraszam, że jestem trochę niegrzeczny. To się więcej nie wydarzy.
Vladislavs Dovgalecs 21.04.16

Odpowiedzi:

19

Jako przykład, dlaczego chcesz użyć dwóch przykładowych testów Kołmogorowa-Smirnowa:

Wyobraź sobie, że średnie liczebności populacji były podobne, ale wariancje były bardzo różne. Test Kołmogorowa-Smirnowa mógłby wykryć tę różnicę, ale test t nie.

Albo wyobraź sobie, że rozkłady mają podobne środki i sd, ale samce mają rozkład bimodalny (czerwony), podczas gdy kobiety (niebieski) nie:

wprowadź opis zdjęcia tutaj

Czy mężczyźni i kobiety zachowują się inaczej? Tak - mężczyźni zazwyczaj osiągają wyniki około 7,5-8 lub 12,5-13, podczas gdy kobiety częściej osiągają więcej punktów w kierunku środka (około 10 lub więcej), ale są znacznie mniej skupione wokół tej wartości niż dwie wartości mężczyźni mają tendencję do zdobywania punktów w pobliżu.

Więc Kołmogorow-Smirnov może znaleźć znacznie bardziej ogólne rodzaje różnic w rozkładzie niż test t.

Glen_b - Przywróć Monikę
źródło
Ach, ma sens. Czy mogę rozszerzyć tę logikę i powiedzieć, że jeśli test t jest znaczący, to test KS również będzie prawdopodobnie znaczący, jednak może to wynikać ze średniej różnicy i / lub jakiejkolwiek innej różnicy w rozkładzie, tym samym dokonując interpretacji KS test trudny? Czy test KS jest naprawdę przydatny tylko w przypadku, gdy nie ma średniej różnicy między 2 grupami?
Simon
Test t jest bardziej wrażliwy na różnice w średniej (szczególnie jeśli rozkłady populacji są zbliżone do normalnych z podobnym odchyleniem standardowym). Test KS może być trudniejszy do interpretacji, ale nie zgodziłbym się z twoim ostatnim zdaniem. Możesz mieć niewielką różnicę w środkach, której towarzyszą inne różnice; test t ma tylko różnicę w środkach do poinformowania go, podczas gdy test KS może być poinformowany przez inne rodzaje różnic. Wyobraź sobie powyższy przykład, ale w przypadku niewielkiej zmiany środków; test t może nie wykryć różnicy tak łatwo, jak test KS.
Glen_b
@Glen_b: czy zatem słuszne jest stwierdzenie, że KS sprawdza, czy rozkłady są równe, podczas gdy test t sprawdza, czy rozkłady mają tę samą średnią?
@fcop Tak i nie; biorąc pod uwagę założenia i poniżej zera, zwykły test t równej wariancji testuje również tożsamość rozkładów - to ogólność alternatywy (w połączeniu z założeniami) naprawdę ich różni. Oczywiście możemy (i ogólnie robimy) korzystać z testów, gdy ich założenia nie do końca się odnoszą, a następnie bardziej przyglądamy się ich zachowaniu pod zerą i alternatywą; test t będzie wrażliwy na zmianę średniej zgodnie z alternatywą, podczas gdy KS jest nieco wrażliwy na bardzo szeroką klasę alternatyw.
Glen_b