Czy p = 5,0% jest znaczące?

Dzisiaj zapytano mnie, czy wartość p wynosząca 0,05 (dokładnie) jest uważana za znaczącą (biorąc pod uwagę alfa = 5%), czy nie. Nie znałem odpowiedzi i Google podniosło obie odpowiedzi: (a) wynik jest znaczący, jeśli p jest mniejsze niż 5% i (b) jeśli p jest mniejsze niż 5% lub równe 5%.

Oczywiście, żadna z tych stron internetowych nikogo nie cytowała. Dlaczego warto - to powszechna wiedza, a 5% i tak jest arbitralne. Ale to nie pomoże mi powiedzieć moim uczniom czegoś do zapamiętania.

Oto moje desperackie pytania dotyczące testowania hipotez: jeśli wartość p jest dokładnie alfa - czy uważam wynik za znaczący, czy nie? A jaki jest autorytatywny cytat w tym przypadku?

Dziękuję Ci bardzo

Pomijając pewne praktyczne kwestie (takie jak na przykład stopień arbitralności ), definicje poziomu istotności i wartości p sprawiają, że odpowiedź na to pytanie jest jednoznaczna.$\alpha$

To znaczy formalnie reguła odrzucenia polega na tym, że odrzucasz, gdy .$p = \alpha$

To naprawdę powinno mieć znaczenie tylko dla przypadku dyskretnego, ale w takiej sytuacji, jeśli nie odrzucisz, gdy , poziom błędu typu I faktycznie nie będzie α !$p=\alpha$$\alpha$

(Moim zdaniem nie ma „autorytatywnego” cytatu; naprawdę musisz zmierzyć się zarówno z podejściem Neymana-Pearsona, jak i fisheryjskim do testowania hipotez i jest to coś, co rozwinęło się z czasem).

Istnieje wiele dobrych tekstów statystycznych, które poprawnie opisują testowanie hipotez.

Definicja wartości p podana jest poprawnie w pierwszym zdaniu odpowiedniego artykułu z Wikipedii *:

wartość p jest prawdopodobieństwem uzyskania statystyki testowej co najmniej tak ekstremalnej jak ta, którą rzeczywiście zaobserwowano, przy założeniu, że hipoteza zerowa jest prawdziwa.

* (i nie, wikipedia nie jest autorytetem, mówię tylko, że definicja jest poprawna)

Dla uproszczenia trzymajmy się zerowych punktów; Służy to do przejścia przez punkt bez mętnienia wód z dodatkowymi problemami.

$\alpha$$p$ $\alpha$

** Cóż, myślę, że ograniczam moją dyskusję tylko do czysto dyskretnych lub wyłącznie ciągłych statystyk testowych. W przypadku mieszanym możesz dowiedzieć się, w jaki sposób stosuje się moja dyskretna dyskusja (w sytuacjach, gdy ma ona zastosowanie).

$n=17$$\alpha = 4.904\%$$\frac{137500}{2^{17}}$

$H_0$$p=\alpha$$\alpha$

$H_0$$p=\alpha$$\alpha$

$p=\alpha$

$p=\alpha$

Jeśli z góry opiszesz swoją zasadę odrzucenia i wykażesz, że (jeśli założenia są spełnione), ma ona pożądany poziom istotności, prawdopodobnie nie ma potrzeby odwoływania się.

$H_0$

$\alpha$

(Jeśli masz inną edycję, numery stron mogą ulec zmianie, ale ma indeks, więc możesz wyszukiwać terminy; uważaj, być może trzeba zajrzeć do list pod „Testowaniem hipotez” lub czegoś podobnego w indeksie, aby znaleźć „region odrzucenia”)

Hmm, spróbujmy innej książki z półki. Wackerly, Mendenhall & Scheaffer Mathematical Statistics with Applications, wydanie piąte , definiuje region odrzucenia na p412 i wartość p (taka sama jak C&B) na p431.

Interesującym wyznaniem, którego nauczyłem się na mojej wczesnej lekcji biostatystyki od profesora, jest to, że poziom istotności 0,05 był bardziej osiągany dzięki konsensusowi niż złotej prawdzie. Od tego czasu widziałem literaturę flirtującą z poziomem istotności 0,05, taką jak „zbliżanie się”, aby nadal być uderzającym odkryciem w badaniu i słyszałem argumenty, że poziom istotności 0,05 może nie mieć zastosowania do wszystkich dziedzin badań. Powiedziawszy to, znalazłem szacunki punktowe i przedziały ufności, które mają więcej informacji niż poziomy istotności. Oto interesujący artykuł na ten temat (w każdym razie dla mnie).

Wartość p jest zwykle ustalana dla konsensusu, jak powiedziano wcześniej (a raczej lenistwo). Aby naprawdę móc powiedzieć, że coś jest znaczące, musimy znaleźć wartość p, która odpowiada wielkości efektu, wielkości próbki i temu, jak rygorystycznie chcesz, aby dotyczyła twoich danych. Nazywa się to analizą mocy (jest to podpole w statystykach). Wiele osób albo nie zdaje sobie z tego sprawy, albo po prostu go nie używa, ponieważ nie jest to proste. Nie oznacza to, że tak jest dobrze. Zawsze powinniśmy przeprowadzać tego rodzaju badania, aby wyciągać wnioski, które są naprawdę znaczące.