Małe i niezrównoważone rozmiary próbek dla dwóch grup - co robić?

Mam dane dla dwóch grup (tj. Próbek), które chcę porównać, ale całkowity rozmiar próbki jest mały (n = 29) i silnie niezrównoważony (n = 22 vs n = 7).

Dane te są logistycznie trudne i kosztowne w gromadzeniu, więc chociaż „zbieranie większej ilości danych” jako oczywiste rozwiązanie nie jest w tym przypadku pomocne.

Zmierzono wiele różnych zmiennych (data wyjazdu, data przybycia, czas trwania migracji itp.), Więc istnieje wiele testów, z których niektóre wariancje są bardzo różne (mniejsza próbka ma większą wariancję).

Początkowo kolega przeprowadził testy t na tych danych, a niektóre były statystycznie istotne przy P <0,001, inny nie był istotny przy P = 0,069. Niektóre próbki były normalnie dystrybuowane, inne nie. Niektóre testy obejmowały duże odstępstwa od „równych” wariancji.

Mam kilka pytań:

1. czy testy T są tu odpowiednie? Jeśli nie to dlaczego? Czy dotyczy to tylko testów, w których spełnione są założenia normalności i równości wariancji?
2. jaka jest odpowiednia alternatywa (alternatywy)? Być może test permutacji?
3. nierówna wariancja wzmaga błąd typu I, ale jak? i jaki wpływ ma niewielka, niezrównoważona wielkość próbki na błąd typu I?

Testy T, które zakładają równe wariancje dwóch populacji, nie są ważne, gdy dwie populacje mają różne wariancje, a jest gorzej w przypadku nierównych wielkości próby. Jeśli najmniejsza próbka jest tą o największej wariancji, test spowoduje zawyżenie błędu typu I). Z drugiej strony wersja t testu Welch-Satterthwaite nie zakłada równych wariancji. Jeśli myślisz o teście permutacji Fishera-Pitmana, również zakłada on równe wariancje (jeśli chcesz wywnioskować nierówne środki z niskiej wartości p).

Istnieje wiele innych rzeczy, o których warto pomyśleć:

(1) Jeśli wariancje są wyraźnie nierówne, czy nadal jesteś zainteresowany różnicą między średnimi?

(2) Czy szacunki efektów mogą być dla Ciebie bardziej przydatne niż wartości p?

(3) Czy chcesz wziąć pod uwagę wielowymiarowy charakter swoich danych, a nie tylko wykonać szereg jednoznacznych porównań?

Po pierwsze, jak już zauważył Scortchi, test T nie jest tak dobrze dopasowany do twoich danych, ze względu na jego założenia dotyczące dystrybucji danych.

W drugiej kolejności zaproponowałbym alternatywę dla testu T. Jeśli interesuje Cię tylko fakt, że rozkłady twoich dwóch próbek są równe lub nie, możesz również spróbować użyć dwustronnej wersji testu sumy rang Wilcoxona. Test sumy rang Wilcoxona jest testem nieparametrycznym. Ten rodzaj testu jest szczególnie pomocny, jeśli nie masz pewności co do podstawowej dystrybucji Twoich danych.

Istnieje dokładne rozwiązanie testu dla małych rozmiarów próbek, a także dla dużych kohort. Ponadto istnieje również pakiet R, który realizuje test sumy rang Wilcoxona.

Ponieważ jest to test bez parametrów i obejmuje on również małe próbki, test powinien dobrze pasować do Twojego przypadku testowego.