Wykorzystanie wartości p do obliczenia prawdopodobieństwa prawdziwości hipotezy; co jeszcze jest potrzebne?

Pytanie:

Jednym z powszechnych nieporozumień dla wartości p jest to, że reprezentują one prawdopodobieństwo prawdziwości hipotezy zerowej. Wiem, że to nieprawda i wiem, że wartości p reprezentują jedynie prawdopodobieństwo znalezienia próbki tak ekstremalnej jak ta, biorąc pod uwagę, że hipoteza zerowa jest prawdziwa. Jednak intuicyjnie, powinno być możliwe wyprowadzenie pierwszego z drugiego. Musi istnieć powód, dla którego nikt tego nie robi. Jakich informacji nam brakuje, co ogranicza nas do ustalenia prawdopodobieństwa prawdziwości hipotezy na podstawie wartości p i powiązanych danych?

---

Przykład:

Nasza hipoteza brzmi: „Witamina D wpływa na nastrój” (hipoteza zerowa jest „bez efektu”). Powiedzmy, że przeprowadzamy odpowiednie badanie statystyczne z udziałem 1000 osób i znajdujemy korelację między nastrojem a poziomem witamin. Wszystkie pozostałe rzeczy są równe, wartość p 0,01 wskazuje na większe prawdopodobieństwo prawdziwej hipotezy niż wartość p 0,05. Powiedzmy, że otrzymujemy wartość p wynoszącą 0,05. Dlaczego nie możemy obliczyć rzeczywistego prawdopodobieństwa, że ​​nasza hipoteza jest prawdziwa? Jakich informacji brakuje?

---

Alternatywna terminologia dla statystyków często:

Jeśli zaakceptujesz przesłanie mojego pytania, możesz przestać czytać tutaj. Poniższe informacje dotyczą osób, które nie chcą zaakceptować faktu, że hipoteza może mieć interpretację prawdopodobieństwa. Na chwilę zapomnijmy o terminologii. Zamiast...

Powiedzmy, że obstawiasz ze swoim przyjacielem. Twój przyjaciel pokazuje Ci tysiące badań statystycznych na tematy niepowiązane. W przypadku każdego badania można tylko spojrzeć na wartość p, wielkość próby i odchylenie standardowe próby. Dla każdego badania twój przyjaciel oferuje pewne szanse, aby postawić zakład, że hipoteza przedstawiona w badaniu jest prawdziwa. Możesz wybrać albo postawić zakład, albo go nie wziąć. Po postawieniu zakładów na wszystkie 1000 badań, wyrusza na ciebie wyrocznia i mówi, która hipoteza jest poprawna. Informacje te umożliwiają rozliczenie zakładów. Twierdzę, że istnieje optymalna strategia dla tej gry. W moim światopoglądzie jest to równoważne ze znajomością prawdopodobieństwa, że ​​hipoteza jest prawdziwa, ale jeśli się z tym nie zgadzamy, to jest w porządku. W takim przypadku możemy po prostu mówić o sposobach zastosowania wartości p, aby zmaksymalizować oczekiwania na zakłady.

Inne odpowiedzi stają się filozoficzne, ale nie rozumiem, dlaczego jest to potrzebne. Rozważmy twój przykład:

Nasza hipoteza brzmi: „Witamina D wpływa na nastrój” (hipoteza zerowa jest „bez efektu”). Powiedzmy, że przeprowadzamy odpowiednie badanie statystyczne z udziałem 1000 osób i znajdujemy korelację między nastrojem a poziomem witamin. Wszystkie pozostałe rzeczy są równe, wartość p 0,01 wskazuje na większe prawdopodobieństwo prawdziwej hipotezy niż wartość p 0,05. Powiedzmy, że otrzymujemy wartość p wynoszącą 0,05. Dlaczego nie możemy obliczyć rzeczywistego prawdopodobieństwa, że ​​nasza hipoteza jest prawdziwa? Jakich informacji brakuje?

Dla $n=1000$, coraz $p=0.05$ odpowiada przykładowemu współczynnikowi korelacji $\hat \rho=0.062$. Hipoteza zerowa brzmi$H_0: \rho=0$. Alternatywna hipoteza to$H_1: \rho\ne 0$.

Wartość p wynosi

$$p\text{-value} = P\big(|\hat\rho|\ge 0.062 \;\big|\; \rho=0\big),$$ i możemy to obliczyć na podstawie rozkładu próbkowania $\hat\rho$poniżej zera; nic więcej nie jest potrzebne.

Chcesz obliczyć

$$P(H_0\;|\;\text{data})=P\big(\rho=0\;\big|\; \hat\rho= 0.062\big),$$

i do tego potrzebna jest cała masa dodatkowych składników. Rzeczywiście, stosując twierdzenie Bayesa, możemy przepisać go w następujący sposób:

$$\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)}{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) \cdot P(\rho=0)+P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big) \cdot (1-P(\rho=0))}.$$

Aby więc obliczyć prawdopodobieństwo zerowe z tyłu, musisz mieć dwie dodatkowe rzeczy:

1. Zanim hipoteza zerowa jest prawdziwa: $P(\rho=0)$.
2. Założenie o tym, jak $\rho$jest dystrybuowane, jeśli hipoteza alternatywna jest prawdziwa. Jest to potrzebne do obliczenia$P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)$ semestr.

Jeśli jesteś gotów to założyć $P(\rho=0)=0.5$ --- mimo że osobiście nie jestem pewien, dlaczego takie założenie ma być znaczącym założeniem, --- nadal musisz przyjąć rozkład $\rho$pod alternatywą. W takim przypadku będziesz w stanie obliczyć coś o nazwie czynnik Bayesa :

$$B=\frac{P\big( \hat\rho= 0.062 \;\big|\;\rho=0\big) }{P\big( \hat\rho= 0.062 \;\big|\;\rho\ne0\big)}.$$

Jak widać, współczynnik Bayesa czy nie zależy od uprzedniego prawdopodobieństwa null, ale to nie zależy od uprzedniego prawdopodobieństwa$\rho$ (w ramach alternatywy).

[Należy zauważyć, że mianownik we współczynniku Bayesa nie jest wartością p, z powodu równości zamiast znaku nierówności. Więc przy obliczaniu współczynnika Bayesa lub$P(H_0)$wcale nie używamy samej wartości p . Ale oczywiście używamy rozkładu próbkowania$P(\hat\rho\;|\;\rho=0)$.]

Quid est veritas?

Potrafię zaakceptować odpowiedź @ amoeba równie łatwo jak oryginalny plakat. Ostrzegam jednak, że w całej mojej pracy nie spotkałem się z analizą bayesowską, która wyliczyła „prawdopodobieństwo, że hipoteza zerowa jest prawdziwa”. I taki wniosek przyciągnąłby cały szereg argumentów od recenzentów twojej pracy! Filozoficznie takprzywróćmy do pytania: „czym jest prawda?” Być może „prawda” jest niezaprzeczalna, nawet dla samego dowodu. Statystyka jest narzędziem naukowym do pomiaru niepewności. Nadal twierdzę, że chociaż dowody mogą silnie wskazywać na prawdę, zawsze istnieje ryzyko fałszywego pozytywnego odkrycia, a Dobry Statystyka powinien zgłosić to ryzyko. Nawet w testach teoretycznych decyzji Bayesa podana jest reguła decyzyjna, abyśmy mogli zaakceptować lub odrzucić hipotezy oparte na czynnikach Bayesa, które są w przybliżeniu proporcjonalne do$Pr(H_0 | X)$, ale nigdy nie wierzymy w to $1$ lub $0$nawet gdy nasza decyzja jest. Teoria decyzji daje nam możliwość „pójścia naprzód” przy częściowej wiedzy i zaakceptowaniu tego ryzyka.

Część uzasadnienia dla testów statystycznych hipotezy zerowej (NHST) i $p$-wartość to filozofia fałszowania Karla Poppera . W tym: krytycznym założeniem jest to, że „prawda” nigdy nie jest znana, możemy jedynie podważyć inne hipotezy. Interesujący i ważny krytyka NHST jest to, że są zmuszeni , aby śmieszne założenia, podobnie jak palenie czy nie powodują raka, gdy jesteś naprawdę zainteresowany opisowym (nie wnioskowania) badania: a ty po prostu opisując jak najwięcej raka palenie powoduje .

Odwrotna krytyka została zastosowana w badaniach bayesowskich, w których można swobodnie stosować priory: Dennis Lindley powiedział: „Z poprzednim prawdopodobieństwem 0, że księżyc jest zrobiony z sera, astronauci powracający z rękami pełnymi sera wciąż nie byli w stanie przekonać”.

Brakujące informacje pozwalające ustalić, czy hipoteza zerowa jest prawdziwa, to, mówiąc trywialnie, wiedza o tym, czy hipoteza zerowa jest prawdziwa. Jak na ironię, skupiając się na statystykach opisowych, możemy zaakceptować dopuszczalne zakresy możliwych efektów i dość silnie stwierdzić, że trend jest prawdopodobnie prawdziwy: ale testy statystyczne nie prowadzą nas do takich ustaleń. Nawet w wnioskach bayesowskich żadne dane nie doprowadzą do powstania pojedynczego odcinka bocznego bez pewnych problemów metodologicznych, więc włączenie przeora nie rozwiązuje tego problemu.

Istnieją dwie próby zrobienia dokładnie tego, co powiedziałeś w historii statystycznej, Bayesian i Fiducial. RA Fisher założył dwie szkoły myślenia statystycznego, szkołę prawdopodobieństwa zbudowaną wokół metody maksymalnego prawdopodobieństwa oraz Fiducial, która zakończyła się niepowodzeniem, ale która próbuje robić dokładnie to, co chcesz.

Krótka odpowiedź na pytanie, dlaczego zawiodła, polega na tym, że jej rozkłady prawdopodobieństwa nie zakończyły się integracją z jednością. Na koniec lekcja była taka, że ​​wcześniejsze prawdopodobieństwo jest konieczną rzeczą, aby stworzyć to, co próbujesz stworzyć. Rzeczywiście, idziecie ścieżką jednego z największych statystów w historii, a więcej niż kilku innych wielkich umarło w nadziei na rozwiązanie tego problemu. Gdyby został znaleziony, postawiłby metody zerowej hipotezy na równi z metodami bayesowskimi pod względem rodzajów problemów, które mogłyby rozwiązać. Rzeczywiście, przepchnęłoby się obok Bayesa, chyba że istniałyby prawdziwe wcześniejsze informacje.

Chcesz również uważać na swoje oświadczenie, że wartość p wskazuje na większe prawdopodobieństwo alternatywy. Jest to prawdą tylko w szkole wyznania wiary fisheryjskiej. Nie jest to wcale prawdą w szkole dla częstych Pearson-Neyman. Twój zakład na dole wydaje się być zakładem Pearson-Neyman, podczas gdy twoja wartość p jest niezgodna, ponieważ pochodzi ze szkoły fisheryjskiej.

Aby być charytatywnym, zakładam, że w twoim przykładzie nie ma stronniczości publikacji, a więc tylko znaczące wyniki pojawiają się w czasopismach o wysokiej częstości fałszywych odkryć. Traktuję to jako losową próbkę wszystkich przeprowadzonych badań, niezależnie od wyników. Twierdziłbym, że Twoje kursy bukmacherskie nie byłyby spójne w klasycznym znaczeniu tego słowa de Finetti.

W świecie de Finetti zakład jest spójny, jeśli bukmacher nie może grać w graczy, aby ponieść pewną stratę. W najprostszej konstrukcji jest to rozwiązanie problemu krojenia ciasta. Jedna osoba przecina kawałek na pół, ale druga wybiera, który kawałek chce. W tej konstrukcji jedna osoba podałaby ceny zakładów dla każdej hipotezy, ale druga osoba wybrałaby kupno lub sprzedaż zakładu. W skrócie, możesz krótko sprzedać wartość zerową. Aby być optymalnym, szanse musiałyby być ściśle uczciwe. Wartości P nie prowadzą do uczciwych szans.

Aby to zilustrować, rozważ badanie Wetzelsa i in. Na stronie http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf

Cytat za co: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson i Eric-Jan Wagenmakers. Dowody statystyczne w psychologii eksperymentalnej: porównanie empiryczne przy użyciu testów 855 t. Perspektywy nauki psychologicznej. 6 (3) 291–298. 2011 r

Jest to bezpośrednie porównanie 855 opublikowanych testów t wykorzystujących czynniki Bayesa w celu ominięcia problemu wcześniejszej dystrybucji. W 70% wartości p pomiędzy 0,05 i 0,01 czynniki Bayesa były w najlepszym razie niepotwierdzone. Wynika to z matematycznej formy używanej przez częstych do rozwiązania problemu.

Metody hipotezy zerowej zakładają, że model jest prawdziwy, a ich konstrukcja wykorzystuje rozkład statystyczny minimaks, a nie rozkład prawdopodobieństwa. Oba te czynniki wpływają na różnice między rozwiązaniami bayesowskimi i nie bayesowskimi. Rozważmy badanie, w którym metoda bayesowska ocenia prawdopodobieństwo tylnej hipotezy jako trzy procent. Wyobraź sobie, że wartość p jest mniejsza niż pięć procent. Oba są prawdziwe, ponieważ trzy procent to mniej niż pięć procent. Niemniej jednak wartość p nie jest prawdopodobieństwem. Podaje jedynie maksymalną wartość, jaką może być prawdopodobieństwo zobaczenia danych, a nie faktyczne prawdopodobieństwo, że hipoteza jest prawdziwa lub fałszywa. Rzeczywiście, w konstrukcji wartości p nie można rozróżnić efektów ze względu na przypadek z prawdziwą wartością zerową i fałszywą wartością zerową z dobrymi danymi.

Jeśli spojrzysz na badanie Wetzela, zauważysz, że jest bardzo oczywiste, że szanse sugerowane przez wartości p nie pasują do szans sugerowanych przez miarę bayesowską. Ponieważ miara Bayesa jest zarówno dopuszczalna, jak i spójna, a nie bayesowska nie jest spójna, nie jest bezpiecznie zakładać mapy wartości p na prawdziwe prawdopodobieństwa. Wymuszone założenie, że wartość zerowa jest prawidłowa, zapewnia dobre prawdopodobieństwo pokrycia, ale nie daje dobrych prawdopodobieństw hazardowych.

Aby lepiej zrozumieć, dlaczego, rozważ pierwszy aksjomat Coxa, że ​​wiarygodność hipotezy można opisać liczbą rzeczywistą. W domyśle oznacza to, że wszystkie hipotezy mają rzeczywistą liczbę związaną z ich prawdopodobieństwem. W metodach hipotezy zerowej tylko null ma liczbę rzeczywistą powiązaną z prawdopodobieństwem. Hipoteza alternatywna nie została wykonana i z pewnością nie jest uzupełnieniem prawdopodobieństwa obserwacji danych, biorąc pod uwagę, że wartość null jest prawdziwa. Rzeczywiście, jeśli wartość null jest prawdziwa, to dopełnienie jest fałszywe z założenia, bez względu na dane.

Jeśli skonstruowałeś prawdopodobieństwa, używając wartości p jako podstawy swojego pomiaru, to Bayesian stosując pomiary Bayesa zawsze byłby w stanie uzyskać przewagę nad tobą. Gdyby Bayesian ustalił kursy, teoria decyzji Pearsona i Neymana dostarczyłaby oświadczenie o zakładzie lub nie zakładała się, ale nie byłyby w stanie określić kwoty zakładu. Ponieważ szanse Bayesa były uczciwe, oczekiwany zysk z zastosowania metody Pearsona i Neymana wyniósłby zero.

Rzeczywiście, badanie Wetzel jest naprawdę tym, o czym mówisz, ale z 145 mniejszą liczbą zakładów. Jeśli spojrzysz na tabelę trzecią, zobaczysz badania, w których Frequentist odrzuca zero, ale Bayesian stwierdza, że ​​prawdopodobieństwo sprzyja zeru.

Analiza częstokroć nie może dać ci prawdopodobieństwa, że ​​dana hipoteza jest prawdziwa (lub fałszywa), ponieważ nie ma ona częstotliwości długofalowej (albo jest prawdą, albo nie jest), więc nie możemy przypisać jej prawdopodobieństwa (z wyjątkiem może 0 lub 1 ). Jeśli chcesz poznać prawdopodobieństwo, że konkretna hipoteza jest prawdziwa, musimy przyjąć ramy bayesowskie (jeśli jest to proste, musimy wziąć pod uwagę wcześniejsze prawdopodobieństwa itp.).

Częstokroć mogą znaleźć optymalne strategie działania na testach zerowej hipotezy ( szkielet Neymana-Pearsona ), ale nie mogą przełożyć tego na prawdopodobieństwo, że hipoteza jest prawdziwa, ale tylko ze względu na ich definicję prawdopodobieństwa.

Po postawieniu zakładów na wszystkie 1000 badań, wyrusza na ciebie wyrocznia i mówi, która hipoteza jest poprawna. Informacje te umożliwiają rozliczenie zakładów. Twierdzę, że istnieje optymalna strategia dla tej gry.

Problemem w twojej konfiguracji jest Oracle. Zwykle nie przychodzi do rozstrzygnięcia zakładów. Powiedzmy, że obstawiasz, że prawdopodobieństwo, że palenie powoduje raka, wynosi 97%. Kiedy ta wyrocznia przyjdzie, aby rozstrzygnąć zakład? Nigdy. Jak zatem udowodnisz, że Twoja optymalna strategia jest optymalna?

Jeśli jednak usuniesz Oracle i wprowadzisz innych agentów, takich jak konkurenci i klienci, istnieje optymalna strategia. Obawiam się jednak, że nie będzie on oparty na wartościach p. Byłoby to bardziej podobne do podejścia Gosseta z funkcjami strat. Na przykład, ty i twoi konkurenci w sektorze rolniczym stawiacie na prawdziwość prognozy pogody. Kto wybierze lepszą strategię, zarobi więcej pieniędzy. Oracle nie ma potrzeby, a zakłady są rozliczane na rynkach. Nie możesz opierać strategii na wartościach p, musisz uwzględnić straty i zyski w dolarach.

W hipotezie chcesz przetestować jakieś stwierdzenie o prawdziwym świecie, np. Średnia długość wszystkich mężczyzn wynosi 1,75 m. Następnie sformułowalibyśmy test hipotezy, taki jak np$H_0: \mu_L=1.75$ przeciw $H_1: \mu_L \ne 1.75$.

To jest nasze stwierdzenie i chcemy sprawdzić, czy w prawdziwym świecie jest to faktem. Ale częstokroć twierdzą, że w prawdziwym świecie jest to albo prawda, albo fałsz. Jak w prawdziwym świecie$H_0$ jest albo prawdą, albo fałszem, oznacza to, że w prawdziwym świecie $P(H_0=TRUE)$ wynosi 0 lub 1.

Teoretycznie wynik naszego testu hipotez powinien być $H_0$jest prawdą lub fałszem, ale ponieważ pracujemy tylko na próbce, nie możemy wyciągać tak trudnych wniosków, dlatego staramy się zastosować jakiś statystyczny wariant techniki matematycznej zwany „dowodem sprzeczności”. Aby uzyskać szczegółowe informacje, zobacz Co nastąpi, jeśli nie odrzucimy hipotezy zerowej? .

Aby poznać wątek dotyczący wartości p, zobacz Niezrozumienie wartości P?

Baysians robią coś innego; wyrażają swoją wiarę lub wiarygodność na zakończenie testu, więc nie jest to prawdopodobne$H_0$ jest prawdą, ale bardziej przekonaniem, jakie mają w swoich wnioskach, które podnoszą po teście $H_0$. Dlatego nazywa się to „wiarygodnością”.

Biorąc przykład, testujesz „$H_0:$ Witamina D wpływa na nastrój „kontra”$H_1:$ Witamina D nie wpływa na nastrój ”.

Na podstawie próbki obliczasz pewną statystykę testową i prawdopodobieństwo, że zostanie przekroczona, kiedy $H_0$jest prawdziwy. Jeśli ta wartość statystyki testowej jest bardzo niska (poniżej naszego wybranego poziomu istotności), to zakładając, że$H_0$ Prawda prowadzi do czegoś bardzo nieprawdopodobnego lub prowadzi do „sprzeczności statystycznej” i

W takim przypadku często stwierdzą, że częstokroć $H_0$prowadzi do braku sensu statystycznego. Jednak w „prawdziwym świecie” jest tylko jedna prawda$H_0$ lub $H_1$ !

Bayesianie obliczają prawdopodobieństwo, że $H_0$jest prawdziwe, biorąc pod uwagę dane. Tak więc w prawdziwym świecie$H_0$ jest prawdziwe lub $H_1$ jest prawdą, ale używając danych, mogą wyrazić swoje przekonanie (pochodzące z danych), że $H_0$ jest prawdziwy.

Nazywają to „wiarygodnością hipotezy”, ale nie mówi nic o prawdopodobieństwie tego $H_0$ jest prawdziwe (ani co do prawdopodobieństwa, że $H_1$ jest prawdziwy)

Po prostu wyrażają swoją wiarę w „zakończenie testu” na podstawie „dostępnych danych”.