Dlaczego niższe wartości p nie stanowią więcej dowodów przeciwko zeru? Argumenty z Johansson 2011

Johansson (2011) w „ Zdrowaś niemożliwe: wartości p, dowody i prawdopodobieństwo ” (tutaj również link do czasopisma ) stwierdza, że ​​niższe wartości są często uważane za silniejsze dowody przeciw zerowej wartości. Johansson sugeruje, że ludzie uznaliby dowody przeciwko wartości zerowej za silniejsze, gdyby ich test statystyczny dał wartość , niż gdyby ich test statystyczny dał wartość . Johansson wymienia cztery powody, dla których wartość nie może być użyta jako dowód przeciwko wartości zerowej:p 0,01 p 0,45 $p$$p$$0.01$$p$$0.45$$p$

1. $p$ jest równomiernie rozmieszczony w oparciu o hipotezę zerową i dlatego nigdy nie może wskazywać dowodów na wartość zerową.
2. $p$ jest uwarunkowane wyłącznie hipotezą zerową i dlatego nie nadaje się do oceny ilościowej dowodów, ponieważ dowody są zawsze względne w sensie bycia dowodami za lub przeciw hipotezie w stosunku do innej hipotezy.
3. $p$ oznacza raczej prawdopodobieństwo uzyskania dowodów (biorąc pod uwagę wartość zerową), a nie siłę dowodów.
4. $p$ zależy od nieobserwowanych danych i subiektywnych zamiarów, a zatem implikuje, biorąc pod uwagę interpretację dowodową, że siła dowodowa obserwowanych danych zależy od rzeczy, które się nie wydarzyły i subiektywnych intencji.

Niestety nie mogę zrozumieć intuicyjnie artykułu Johanssona. Według mnie wartość wynosząca oznacza, że ​​istnieje mniejsze prawdopodobieństwo, że wartość null jest prawdziwa, niż wartość równa . Dlaczego niższe wartości nie są mocniejszym dowodem na wartość zerową? 0,01 p 0,45 $p$$0.01$$p$$0.45$$p$

Moja osobista ocena jego argumentów:

1. Tutaj mówi o użyciu jako dowodu na zero, podczas gdy jego teza mówi, że nie może być użyty jako dowód przeciwko zeru. Myślę więc, że ten argument jest w dużej mierze nieistotny.$p$$p$
2. Myślę, że to nieporozumienie. Fisheryjskie testy są ściśle zgodne z ideą Popper's Critical Rationalism, która stwierdza, że ​​nie można poprzeć teorii, a jedynie ją krytykować. W tym sensie istnieje tylko jedna hipoteza (zerowa) i po prostu sprawdzasz, czy twoje dane są z nią zgodne.$p$
3. Nie zgadzam się tutaj. Zależy to od statystyki testu, ale jest zwykle transformacją wielkości efektu, która przemawia przeciwko zeru. Im wyższy efekt, tym niższa wartość p --- wszystkie inne rzeczy są równe. Oczywiście w przypadku różnych zestawów danych lub hipotez nie jest to już ważne. $p$
4. Nie jestem pewien, że całkowicie rozumiem to stwierdzenie, ale z tego co mogę zebrać ten jest mniejszy problem jako osób korzystających go niesłusznie. miał mieć interpretację częstotliwości w długim okresie i jest to cecha, a nie błąd. Ale nie można winić za osoby przyjmujące jedną wartość jako dowód na hipotezę lub publikujące tylko . p p p p < $p$$p$$p$$p$$p<.05$

Jego sugestia wykorzystania wskaźnika prawdopodobieństwa jako miary dowodu jest, moim zdaniem, dobra (ale tutaj idea czynnika Bayesa jest bardziej ogólna), ale w kontekście, w którym go podaje, jest nieco osobliwa: po pierwsze odchodzi podstawy testów rybackich, w których nie ma alternatywnej hipotezy do obliczenia współczynnika wiarygodności. Ale jako dowód przeciwko zeru to Fisherian. Dlatego wprawia w zakłopotanie Fishera i Neymana-Pearsona. Po drugie, większość wykorzystywanych przez nas statystyk testowych to (funkcje) ilorazu prawdopodobieństwa, aw tym przypadku jest transformacją ilorazu prawdopodobieństwa. Jak ujął to Cosma Shalizi :$p$$p$

spośród wszystkich testów o danym rozmiarze ten o najmniejszym prawdopodobieństwie spóźnienia lub największej mocy ma postać „powiedz„ sygnał ”, jeśli , w przeciwnym razie powiedz„ szum ” , ”oraz że próg zmienia się odwrotnie względem . Ilość jest ilorazem prawdopodobieństwa; lemat Neymana-Pearsona mówi, że aby zmaksymalizować moc, powinniśmy powiedzieć „sygnał”, jeśli jest bardziej prawdopodobne niż hałas.q ( x ) / p ( x ) > t ( s ) t s q ( x ) / p ( x $s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Tutaj oznacza gęstość w stanie „sygnał”, a gęstość w stanie „szum”. Miarą „wystarczająco prawdopodobnego” byłoby tutaj które jest . Zauważ, że w prawidłowym teście Neymana-Pearsona jest zastąpione stałym tak że . p ( x ) P ( q ( X ) / p ( x ) > t o b s ∣ H 0 ) p t o b s t ( s ) P ( q ( X ) / p ( x ) > t ( s ) ∣ H 0 ) = $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$$P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

Powód, dla którego argumenty takie jak Johanssona są przetwarzane tak często, wydaje się być związany z faktem, że wartości P są wskaźnikami dowodów przeciwko zeru, ale nie są miarami dowodów. Dowody mają więcej wymiarów niż jakakolwiek pojedyncza liczba może zmierzyć, dlatego zawsze istnieją aspekty relacji między wartościami P a dowodami, które ludzie mogą uznać za trudne.

Przejrzałem wiele argumentów użytych przez Johanssona w artykule, który pokazuje związek między wartościami P a funkcjami wiarygodności, a tym samym dowodami: http://arxiv.org/abs/1311.0081 Niestety ten artykuł został trzykrotnie odrzucony, chociaż jego argumenty i dowody na nie nie zostały obalone. (Wygląda na to, że to niesmaczne dla sędziów, którzy mają opinie podobne do Johanssona, a nie złe).

Dodając do ładnej odpowiedzi @ Momo:

Nie zapomnij o wielości. Biorąc pod uwagę wiele niezależnych wartości p i rzadkie nietrywialne rozmiary efektów, najmniejsze wartości p pochodzą od zera, z prawdopodobieństwem zmierzającym do wraz ze wzrostem liczby hipotez. Więc jeśli powiesz mi, że masz małą wartość p, pierwszą rzeczą, którą chcę wiedzieć, jest liczba hipotez, które testujesz.$1$

Czy Johansson mówi o wartościach p z dwóch różnych eksperymentów? Jeśli tak, porównanie wartości p może być jak porównanie jabłek z kotletami jagnięcymi. Jeśli eksperyment „A” obejmuje ogromną liczbę próbek, nawet niewielka nieistotna różnica może być statystycznie znacząca. Jeśli eksperyment „B” obejmuje tylko kilka próbek, ważna różnica może być statystycznie nieistotna. Co gorsza (dlatego powiedziałem kotlety jagnięce, a nie pomarańcze), łuski mogą być całkowicie nieporównywalne (psi w jednym, a kwh w drugim).