Testy permutacyjne: kryteria wyboru statystyki testu

Regularnie używam testów permutacyjnych i uwielbiam ich prostotę. Najwięcej nauczyłem się z książki Gooda, w której autor wydaje się dość kreatywny w wyborze statystyk testowych we wszystkich przykładach. Również ten post sprawia wrażenie, że istnieje duża swoboda wyboru statystyki testowej.

Zastanawiam się, czy istnieją teoretyczne wymagania, które powinna spełniać statystyka testu . Czy możemy po prostu użyć dowolnej statystyki, o ile intuicyjnie ma sens i ma dobre wskaźniki błędów typu I / II?

Na przykład, gdy zamiast testu t stosuje się test permutacji z powodu nietypowych populacji, widziałem wiele razy, że wartość p testu permutacji jest nadal uzyskiwana ze statystyki t. Choć niekoniecznie zły, wydaje się to dziwnym wyborem, biorąc pod uwagę pochodzenie rozkładu t Studenta.

Statystyka t ma sens jako statystyka testowa; wiele osób uważa to za intuicyjne. Jeśli cytuję statystykę t wynoszącą 0,5 lub 5,5, mówi ona coś - ile standardowych błędów to oprócz nich.

Trudność - przynajmniej w przypadku umiarkowanej nienormalności - polega nie tyle na wykorzystaniu statystyki, co na zastosowaniu rozkładu t dla jego rozkładu poniżej wartości zerowej. Statystyka jest dość rozsądna.

Oczywiście, jeśli oczekujesz znacznie cięższych ogonów niż normalnie, lepsza statystyka byłaby lepsza, ale statystyka t nie jest bardzo wrażliwa na łagodne odchylenia od normalności (na przykład jest mniej wrażliwa niż statystyka współczynnika wariancji).

Jeśli chcesz użyć tylko licznika statystyki, to świetnie, ma on sens jako statystyka permutacji, jeśli interesuje Cię różnica środków. Jeśli interesuje Cię bardziej ogólne poczucie zmiany lokalizacji, otwiera mnóstwo innych możliwości.

Masz rację, sądząc, że istnieje duża swoboda w wyborze statystyki i dostosowaniu jej do konkretnych okoliczności - przed którymi alternatywami chcesz władzy lub przed którymi potencjalnymi problemami chciałbyś być solidny (na przykład zanieczyszczenie może siła uderzenia).

Naprawdę nie ma prawie żadnych ograniczeń - możesz wybrać prawie wszystko, w tym bezużyteczne statystyki testowe. Jest kilka kwestii, o których naprawdę powinieneś pomyśleć przy wyborze testów, ale możesz tego nie robić.

-

To powiedziawszy, istnieje kilka kryteriów, które można zastosować w różnych okolicznościach.

Na przykład, jeśli szczególnie interesuje Cię konkretny rodzaj hipotezy, możesz skorzystać ze statystyki, która ją odzwierciedla - na przykład, jeśli chcesz przetestować różnicę w populacji, często ma sens tworzenie statystyki testowej związane z różnicą w średnich próbek.

Jeśli wiesz coś o rodzaju rozkładu, jaki możesz mieć - ciężkie ogony lub pochylenie, lub teoretycznie lekki ogon, ale z pewnym stopniem zanieczyszczenia lub bimodalnym ... możesz opracować statystykę testową, która mogłaby się dobrze w takich okolicznościach, na przykład wybór statystyki, która powinna dobrze działać w przewidywanej sytuacji, ale ma pewną odporność na zanieczyszczenia.

-

Symulacja jest jednym ze sposobów badania mocy w różnych sytuacjach.