Przedział ufności i niepewność wartości P dla testu permutacji

12

Uczę się teraz testów losowych. Przychodzą mi na myśl dwa pytania:

  1. Tak, to łatwe i intuicyjne, w jaki sposób obliczana jest wartość p za pomocą testu randomizacji (który moim zdaniem jest taki sam jak test permutacji?). Jak jednak możemy wygenerować 95% przedział ufności, tak jak w przypadku normalnych testów parametrycznych?

  2. Gdy czytam dokument z University of Washington na temat testów permutacyjnych , na stronie 13 znajduje się zdanie, które mówi:

    Przy 1000 permutacji .... niepewność w pobliżu p = 0,05 wynosi około ±1% .

    Zastanawiam się, skąd ta niepewność.

Sam
źródło

Odpowiedzi:

12

Jak jednak możemy wygenerować 95% przedział ufności, tak jak w przypadku normalnych testów parametrycznych?

δδα1α

Gelman zawiera omówienie dlaczego czasami może być problematyczne powszechnie uważają ich przedziały ufności tutaj .

Jednak nie jest trudno zbadać zasięg według określonych zestawów założeń (poprzez symulację) i nie brakuje osób nazywających interwały ładowania początkowego „przedziałami ufności” (nawet jeśli czasami nie mają nic podobnego do deklarowanego zasięgu).

Więcej szczegółów na temat tego, jak to zrobić w dwóch przykładowych przypadkach różnicy w środkach, omówiono w [3], gdzie są one nazywane przedziałami ufności randomizacji i pojawia się twierdzenie, kiedy są dokładne (które twierdzą, że nie mam „ próbowałem ocenić).

Przy 1000 permutacji .... niepewność w pobliżu p = 0,05 wynosi około ± 1%.

Zastanawiam się, skąd ta niepewność?

p(1p)n

p=0.05n=10000.006990%±1.13%±1%1.4585%

Więc przynajmniej w przybliżeniu możesz powiedzieć, że niepewność to „około 1%”

-

[1] Kempthorne and Folks (1971),
Prawdopodobieństwo, statystyki i analiza danych ,
Iowa State University Press

[2] LaMotte LR i Volaufová J, (1999),
„Prediction Intervals via Consonance Intervals”,
Journal of Royal Statistics Society. Seria D (The Statistician) , tom. 48, nr 3, str. 419–424

[3] Ernst, MD (2004),
„Metody permutacji: podstawa dokładnego wnioskowania”, Statistics Science , tom. 19, nr 4, 676–685

Glen_b - Przywróć Monikę
źródło