Czy wartość p wynosząca 0,04993 jest wystarczająca, aby odrzucić hipotezę zerową?

W teście istotności statystycznej rang Wilcoxona natrafiliśmy na pewne dane, które dają wartość wynoszącą . Czy przy progu wynik ten jest wystarczający, aby odrzucić hipotezę zerową, czy też bezpieczniej jest powiedzieć, że test był niejednoznaczny, ponieważ jeśli zaokrąglimy wartość p do 3 miejsc po przecinku, to ona ? $p$ $0.04993$ $p < 0.05$ $0.050$

hypothesis-testing statistical-significance p-value Islam El-Nabarawy
źródło

0,04993 <0,05, więc jest tylko niższa. Twój instynkt jest dobry, że żadnej wartości P nie można ufać w kilku miejscach po przecinku, ale jeśli program podaje mniej niż 0,05, ludzie zazwyczaj przyjmują ją jako dostarczoną. Prawdziwym problemem jest tutaj fetysz testów na stałym poziomie, tak aby <0,05 oznaczało „rzeczywisty”, „publikowalny”, „przyczynę szczęścia”, a przeciwnie - „iluzoryczny”, „niemożliwy do opublikowania”, „przyczynę nieszczęścia” . Większość dobrych tekstów wprowadzających do statystyki w pewnym stopniu to omawia. Jednym dobrym jest Freedman, Pisani, Purves, Statistics . Nowy Jork: WW Norton, dowolne wydanie.

Nick Cox,

Musisz zadać sobie pytanie, jaka byłaby twoja decyzja, gdyby wartość p wynosiła 0,051? co jeśli jest to 0,049? Czy podejmowałbyś inne decyzje? Czemu?

AlefSin,

Dziękuję za twoje komentarze. W naszym przypadku nie zastanawiamy się, czy dane są publikowane, czy nie, itp. Po prostu rozważamy złożenie oświadczenia w artykule na temat statystycznego znaczenia tego wyniku i chcemy się upewnić, że nasze oświadczenie nie jest nieprawidłowe lub niedokładne .

Islam El-Nabarawy

Przypomina mi się raportowanie P = 0,04993. Trudno przewidzieć komentarze recenzentów i redaktorów. Jeśli chcesz zaokrąglić, określenie spójnej konwencji zaokrąglania jest zawsze dobrym pomysłem i jest ogólnie akceptowane. Niektóre osoby zaokrągliby do 3 dp i mogą również zastosować jakąś konwencję oznaczania gwiazdką, dlatego zgłaszanie wartości 0,050 (3 dp) i oznaczanie go jako <0,05 jest zgodne.

Nick Cox,

Nie wiem ... może powinniśmy uruchomić podwójny pasek startowy i obliczyć przedział ufności dla wartości ! Szczerze mówiąc, chciałbym powiedzieć: „Ustalenia były znaczące na granicy, ”. W tym momencie dzielisz włosy i wszyscy nagle przypominają sobie, że 1/20 szansa na fałszywie pozytywny wynik jest całkowicie arbitralnym sposobem prowadzenia nauki.

p

$p$

0.049 < p < 0.050

$0.049 < p < 0.050$

AdamO,

Odpowiedzi:

Istnieją tutaj dwa problemy:

1) Jeśli przeprowadzasz formalny test hipotez (a jeśli posuwasz się już do cytowania wartości p w mojej książce, to już jesteś), jaka jest formalna zasada odrzucenia?

Porównując statystyki testowe z wartościami krytycznymi, wartość krytyczna znajduje się w regionie odrzucenia . Chociaż ta formalność nie ma większego znaczenia, gdy wszystko jest ciągłe, ma znaczenie, gdy rozkład statystyki testowej jest dyskretny.

Odpowiednio, porównując wartości p i poziomy istotności, reguła jest następująca:

Odrzuć, jeśli $p\leq\alpha$

Pamiętaj, że nawet jeśli zaokrąglisz swoją wartość p do 0,05, a nawet jeśli wartość wynosiła dokładnie 0,05, formalnie powinieneś odrzucić . $p$

2) Jeśli chodzi o „co mówi nam nasza wartość p”, to zakładając, że możesz nawet interpretować wartość p jako „dowód przeciwko zeru” (powiedzmy, że opinia na ten temat jest nieco podzielona), 0,0499 i 0,0501 nie są mówienie o danych różnych rzeczy (rozmiary efektów byłyby prawie identyczne).

Moją sugestią byłoby (1) formalne odrzucenie wartości zerowej i być może zwrócenie uwagi, że nawet gdyby było dokładnie 0,05, nadal powinno zostać odrzucone; (2) Należy zauważyć, że nie ma nic szczególnie specjalnego o i jest bardzo blisko tej granicy - nawet nieznacznie mniejszy próg istotności nie doprowadzi do odrzucenia. $\alpha = 0.05$

Glen_b - Przywróć Monikę
źródło

Ale znowu możesz użyć bardzo podobnych argumentów, aby nie odrzucić wartości null. Nie ma nic specjalnego w 0,05, gdybyś wybrał 0,06 jako swój limit, prawdopodobnie nie zadawałbyś tego pytania, ale sytuacja nie byłaby aż tak inna ... Raczej w takich sytuacjach zapytałbym: „co jest prawdziwym życiowe znaczenie tego wyniku? ”. Na przykład, jeśli byłby to eksperyment biologiczny, szukałbym biologicznego znaczenia konkretnego wyniku, raportowałby wartość p, jaka jest, i raczej komentował biologię.

nico

@nico to już był punkt mojego przedmiotu (2); argumentuje przeciwko nadmiernemu poleganiu na formalnym podejściu w (1)

Glen_b -Reinstate Monica

Dziękuję Glen i Nico. Ta część danych była drugorzędna w stosunku do naszych eksperymentów, więc właśnie zakończyliśmy raportowanie wartości bez zmian. W każdym razie zaznaczam to jako zaakceptowaną odpowiedź. Jeszcze raz dziękuję wszystkim, którzy wzięli udział z odpowiedziami lub komentarzami.

Islam El-Nabarawy

Leży w oku patrzącego.

$\alpha$ $\alpha=0.05$

Tak naprawdę sprowadza się to do tego, co wcześniej skomentował AlefSin. Na twoje pytanie nie może być „poprawna odpowiedź”. Zgłoś, co masz, zaokrąglone lub nie.

Istnieje ogromna literatura na temat „znaczenia znaczenia”; patrz na przykład najnowszy artykuł jednego z czołowych niemieckich statystów Waltera Krämera na temat „Kultu znaczenia statystycznego - Co ekonomiści powinni robić, a czego nie powinni, aby ich dane mówiły”, Schmollers Jahrbuch 131 , 455-468, 2011.

Skullduggery
źródło

-6

$p=0.05$

Kluczowym problemem jest to zdanie: „Natknęliśmy się na niektóre dane ...”.

$p$ $p$

Istnieje taka nazwa statystycznego nadużycia: pogłębianie danych . Mam ambiwalentny stosunek do zgłaszania tego w pracy jako interesującej hipotezy; czy ma jakiś fizyczny powód, dla którego się spodziewasz?

Istnieje jednak jedno wyjście. Być może zdecydowałeś się z góry wykonać tylko jeden test na tym samym zestawie danych. Zapisałeś to w zeszycie laboratoryjnym przed kimś, abyś mógł to później udowodnić. Potem zrobiłeś test.

$p=0.05$

Mike McCoy
źródło

Może to nadmiernie polegać na określonym wyborze frazowania; zakładasz raczej dużo z tego, co może być po prostu złym wyborem słów - nie każdy tutaj ma angielski jako pierwszy język. Zdecydowanie warto podnieść go jako potencjalny problem, ale zwykłe stwierdzenie tego tak beztrosko („absolutnie nie”) oznacza, że wiesz więcej niż jesteśmy w stanie stwierdzić na podstawie tego, co tu jest. (Co więcej, odniesienie do „notatnika laboratoryjnego” sugeruje, że OP wykonuje pracę w laboratorium. Wątpię, żeby tak było. Znów sugerujesz, że wiesz więcej niż tutaj.)

Glen_b

Mike McCoy, dziękuję za odpowiedź, ale obawiam się, że w tym przypadku Glen_b ma rację. Nie jestem rodzimym językiem angielskim i chociaż staram się pisać i mówić tak płynnie, jak tylko pozwalają na to moje umiejętności, nadal nie potrafię używać ani konotacji. W tym konkretnym przypadku nie próbowaliśmy różnych rzeczy, dopóki nie znaleźliśmy czegoś, co było znaczące. W rzeczywistości próbowaliśmy udowodnić, że nie wystąpił statystycznie istotny wzrost wartości błędu, aw jednym konkretnym przypadku stwierdziliśmy, że błąd został rzeczywiście zmniejszony, a kiedy przeprowadziliśmy test W, otrzymaliśmy 0,0499 .

Islam El-Nabarawy

Mike, również nie widziałem problemu w sformułowaniu pytania. I wydaje się, że nikt inny nie widział śladów szpiegowania danych, wydobywania, pogłębiania, cokolwiek tutaj ... I to zdecydowanie leży w oku patrzącego. Nie ma żadnego matematycznego faktu, ale statystyczna reguła wyboru. Ponownie przeczytaj to, co napisałem AlefSin, Glen w swoim punkcie (2).

Skullduggery

@ IslamEl-Nabarawy Jeśli chcesz ustalić równoważność / brak różnicy, masz wiele innych problemów niż interpretacja wartości zbliżonej do progu lub potencjalnego szpiegowania danych. Samo znalezienie wartości p nieco powyżej .05 (lub innego wybranego poziomu błędu) zdecydowanie nie wystarczy. Wyszukaj „testowanie równoważności” tutaj i gdzie indziej lub zadaj pytanie na ten temat, ponieważ jest to zupełnie inny problem.

Gala

„Istnieje jednak jedno wyjście. Być może zdecydowałeś się wykonać a priori tylko jeden test na tym jednym zestawie danych. Zapisałeś to w zeszycie laboratoryjnym przed kimś, abyś mógł to później udowodnić. Następnie zrobiłeś test. Jeśli to zrobiłeś, to twój wynik jest ważny na poziomie p = 0,05 i możesz poprzeć go sceptykami takimi jak ja. W przeciwnym razie, przepraszam, nie jest to statystycznie istotny wynik. ” Mów o winie, dopóki nie zostanie udowodnione niewinny. Czy wobec braku dowodów kryminalistycznych wykluczających nieuczciwość akademicką analiza jest bezwartościowa? Do licha.

GoF_Logistic