Sprawdzanie rozsądku: jak niska może być wartość p?

Używam test ranksum porównać medianę dwóch próbek ( ) i stwierdzili, że są one znacznie różni się z: . Czy powinienem być podejrzliwy wobec tak małej wartości czy powinienem przypisać ją wysokiej sile statystycznej związanej z posiadaniem bardzo dużej próbki? Czy istnieje coś takiego jak podejrzanie niska wartość ? $n=120000$ p = 1.12E-207 $p$ $p$

hypothesis-testing p-value sample-size power N26
źródło

To prawie duplikat stats.stackexchange.com/questions/78839 .

ameba mówi Przywróć Monikę

Odpowiedzi:

Wartości p na standardowych komputerach (przy użyciu pływaków podwójnej precyzji IEEE) mogą wynosić nawet około . Mogą to być prawidłowe obliczenia, gdy rozmiary efektów są duże i / lub błędy standardowe są niskie. Twoja wartość, jeśli jest obliczona z T lub rozkładu normalnego, odpowiada wielkości efektu około 31 standardowych błędów. Pamiętając, że standardowe błędy zwykle skaluje się z odwrotnym pierwiastkiem kwadratowym , co odzwierciedla różnicę mniejszą niż 0,09 odchyleń standardowych (zakładając, że wszystkie próbki są niezależne). W większości aplikacji taka różnica nie byłaby niczym podejrzana ani niezwykła. $10^{-303}$ $n$

Interpretacja takich wartości p to inna sprawa. Uznanie liczby tak małej jak lub nawet za prawdopodobieństwo przekracza granice rozumu, biorąc pod uwagę wszystkie sposoby, w jakie rzeczywistość może odbiegać od modelu prawdopodobieństwa, który leży u podstaw tego p- obliczanie wartości. Dobrym wyborem jest zgłoszenie wartości p jako mniejszej od najmniejszej wartości progowej, którą według ciebie model może w uzasadniony sposób wspierać: często między a . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

Whuber
źródło

Kiedy w artykule konferencyjnym zgłosiłem „ ”, recenzent powiedział mi, że powinienem zmienić go na „ ”, aby przestrzegać wytycznych APA.

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

Thomas Levine

@whuber - Pięknie napisane.

rolando2

(+1) W pewnym momencie bardziej prawdopodobne jest, że rząd niesfornie przerzuca bity w twojej pamięci RAM zdalnie dzięki technologii

superszpiegowskiej

(+1) Rzeczywiście możesz spaść poniżej w zmiennoprzecinkowym podwójnej precyzji IEEE. Ale twoje procedury numeryczne do obliczania wartości prawie na pewno się rozpadną. O ile nie wiesz, że twoje założenia modelowania są całkowicie poprawne (i kiedy?), Wartość ostatecznie staje się miarą wielkości próbki, gdy próbka stanie się wystarczająco duża.

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

kardynał

@ Cardinal oboje mylimy się co do limitów: oprócz wartości zdenormalizowanych, najmniejsze podwójne IEEE wynosi około , co odpowiada dziesięciu bitom dla wykładnika podstawowego-2.

10^{- 308}

$10^{-308}$

whuber

Nie ma nic podejrzanego - ekstremalnie niskie wartości p, takie jak twoje, są dość powszechne, gdy próbki są duże (podobnie jak twoje do porównywania median). Jak wspomniano powyżej, zwykle takie wartości p są zgłaszane jako mniejsze niż pewien próg (np. <0,001).

Jedną z rzeczy, na które należy uważać, jest to, że wartości p mówią tylko, czy różnica w medianie jest statystycznie istotna. To, czy różnica jest wystarczająco znacząca, jest kwestią, którą musisz podjąć: np. W przypadku dużych zestawów próbek wyjątkowo małe różnice w średnich / mediany mogą być istotne statystycznie, ale mogą nie mieć większego znaczenia.

xuexue
źródło

Wartość p może osiągnąć wartość 0.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

AdamO
źródło