Sprawdzanie rozsądku: jak niska może być wartość p?

24

Używam test ranksum porównać medianę dwóch próbek ( ) i stwierdzili, że są one znacznie różni się z: . Czy powinienem być podejrzliwy wobec tak małej wartości czy powinienem przypisać ją wysokiej sile statystycznej związanej z posiadaniem bardzo dużej próbki? Czy istnieje coś takiego jak podejrzanie niska wartość ?n=120000p = 1.12E-207pp

N26
źródło
To prawie duplikat stats.stackexchange.com/questions/78839 .
ameba mówi Przywróć Monikę

Odpowiedzi:

30

Wartości p na standardowych komputerach (przy użyciu pływaków podwójnej precyzji IEEE) mogą wynosić nawet około . Mogą to być prawidłowe obliczenia, gdy rozmiary efektów są duże i / lub błędy standardowe są niskie. Twoja wartość, jeśli jest obliczona z T lub rozkładu normalnego, odpowiada wielkości efektu około 31 standardowych błędów. Pamiętając, że standardowe błędy zwykle skaluje się z odwrotnym pierwiastkiem kwadratowym , co odzwierciedla różnicę mniejszą niż 0,09 odchyleń standardowych (zakładając, że wszystkie próbki są niezależne). W większości aplikacji taka różnica nie byłaby niczym podejrzana ani niezwykła.10-303n

Interpretacja takich wartości p to inna sprawa. Uznanie liczby tak małej jak lub nawet za prawdopodobieństwo przekracza granice rozumu, biorąc pod uwagę wszystkie sposoby, w jakie rzeczywistość może odbiegać od modelu prawdopodobieństwa, który leży u podstaw tego p- obliczanie wartości. Dobrym wyborem jest zgłoszenie wartości p jako mniejszej od najmniejszej wartości progowej, którą według ciebie model może w uzasadniony sposób wspierać: często między a .10-20710-100,010,0001

Whuber
źródło
13
Kiedy w artykule konferencyjnym zgłosiłem „ ”, recenzent powiedział mi, że powinienem zmienić go na „ ”, aby przestrzegać wytycznych APA. p<10-26p<0,001
Thomas Levine
4
@whuber - Pięknie napisane.
rolando2
2
(+1) W pewnym momencie bardziej prawdopodobne jest, że rząd niesfornie przerzuca bity w twojej pamięci RAM zdalnie dzięki technologii
superszpiegowskiej
4
(+1) Rzeczywiście możesz spaść poniżej w zmiennoprzecinkowym podwójnej precyzji IEEE. Ale twoje procedury numeryczne do obliczania wartości prawie na pewno się rozpadną. O ile nie wiesz, że twoje założenia modelowania są całkowicie poprawne (i kiedy?), Wartość ostatecznie staje się miarą wielkości próbki, gdy próbka stanie się wystarczająco duża. 5×10-324pp
kardynał
1
@ Cardinal oboje mylimy się co do limitów: oprócz wartości zdenormalizowanych, najmniejsze podwójne IEEE wynosi około , co odpowiada dziesięciu bitom dla wykładnika podstawowego-2. 10-308
whuber
16

Nie ma nic podejrzanego - ekstremalnie niskie wartości p, takie jak twoje, są dość powszechne, gdy próbki są duże (podobnie jak twoje do porównywania median). Jak wspomniano powyżej, zwykle takie wartości p są zgłaszane jako mniejsze niż pewien próg (np. <0,001).

Jedną z rzeczy, na które należy uważać, jest to, że wartości p mówią tylko, czy różnica w medianie jest statystycznie istotna. To, czy różnica jest wystarczająco znacząca, jest kwestią, którą musisz podjąć: np. W przypadku dużych zestawów próbek wyjątkowo małe różnice w średnich / mediany mogą być istotne statystycznie, ale mogą nie mieć większego znaczenia.

xuexue
źródło
3

Wartość p może osiągnąć wartość 0.

θH.0:θ=1X=1.1

AdamO
źródło