Jeśli w dużym badaniu nie odrzucimy hipotezy zerowej, czy nie jest to dowód na brak?

Podstawowym ograniczeniem testu istotności hipotezy zerowej jest to, że nie pozwala ona badaczowi zebrać dowodów na korzyść wartości zerowej ( Źródło )

Widzę to twierdzenie powtarzane w wielu miejscach, ale nie mogę znaleźć uzasadnienia. Jeśli przeprowadzimy duże badanie i nie znajdziemy istotnych statystycznie dowodów przeciwko hipotezie zerowej , czy nie są to dowody dla hipotezy zerowej?

Brak odrzucenia hipotezy zerowej jest dowodem na to, że hipoteza zerowa jest prawdziwa, ale może nie być szczególnie dobrym dowodem iz pewnością nie dowodzi hipotezy zerowej.

Weźmy krótki objazd. Zastanów się przez chwilę nad starym kliszem:

Brak dowodów nie jest dowodem nieobecności.

Bez względu na popularność to stwierdzenie jest nonsensowne. Jeśli czegoś szukasz i nie możesz go znaleźć, jest to absolutny dowód, że go nie ma. To, jak dobry jest ten dowód, zależy od dokładności wyszukiwania. Pobieżne poszukiwanie dostarcza słabych dowodów; wyczerpujące poszukiwanie dostarcza mocnych dowodów.

Wróćmy do testowania hipotez. Kiedy przeprowadzasz test hipotez, szukasz dowodów na to, że hipoteza zerowa nie jest prawdziwa. Jeśli go nie znajdziesz, to z pewnością jest to dowód, że hipoteza zerowa jest prawdziwa, ale jak silny jest ten dowód? Aby to wiedzieć, musisz wiedzieć, jak prawdopodobne jest, że dowody, które skłoniłyby cię do odrzucenia hipotezy zerowej, mogły umknąć twojemu poszukiwaniu. Jakie jest prawdopodobieństwo fałszywie ujemnego wyniku testu? Jest to związane z mocą, , testu (konkretnie jest to uzupełnienie, 1- .)$\beta$$\beta$

Teraz moc testu, a zatem współczynnik fałszywie ujemnych, zwykle zależy od wielkości efektu, którego szukasz. Duże efekty są łatwiejsze do wykrycia niż małe. Dlatego nie ma pojedynczego dla eksperymentu, a zatem nie ma ostatecznej odpowiedzi na pytanie, jak silny jest dowód na hipotezę zerową. Innymi słowy, zawsze istnieje pewien rozmiar efektu wystarczająco mały, aby nie wykluczył go eksperyment.$\beta$

Odtąd są dwa sposoby postępowania. Czasami wiesz, że nie zależy ci na wielkości efektu mniejszej niż jakiś próg. W takim przypadku prawdopodobnie powinieneś przeformułować eksperyment tak, aby hipoteza zerowa była taka, że ​​efekt jest powyżej tego progu, a następnie przetestować alternatywną hipotezę, że efekt jest poniżej progu. Alternatywnie, możesz użyć swoich wyników, aby ustalić granice wiarygodnego rozmiaru efektu. Wniosek jest taki, że wielkość efektu leży w pewnym przedziale, z pewnym prawdopodobieństwem. Podejście to jest tylko mały krok od leczenia bayesowskiego, o którym możesz chcieć dowiedzieć się więcej, jeśli często znajdziesz się w takiej sytuacji.

Jest miła odpowiedź na powiązane pytanie, które dotyczy dowodów nieobecności , które mogą okazać się przydatne.

NHST opiera się na wartościach p, które mówią nam: Biorąc pod uwagę, że hipoteza zerowa jest prawdziwa, jakie jest prawdopodobieństwo, że zaobserwujemy nasze dane (lub bardziej ekstremalne dane)?

Zakładamy, że hipoteza zerowa jest prawdziwa - w NHST jest zapisane, że hipoteza zerowa jest w 100% poprawna. Małe wartości p mówią nam, że jeśli hipoteza zerowa jest prawdziwa, nasze dane (lub bardziej ekstremalne dane) są mało prawdopodobne.

Ale co mówi nam duża wartość p? Mówi nam, że biorąc pod uwagę hipotezę zerową, nasze dane (lub bardziej ekstremalne dane) są prawdopodobne.

Ogólnie rzecz biorąc, P (A | B) ≠ P (B | A).

Wyobraź sobie, że chcesz wziąć dużą wartość p jako dowód na hipotezę zerową. Polegałbyś na tej logice:

• Jeśli wartość null jest prawdą, prawdopodobna jest wysoka wartość p. ( Aktualizacja: nieprawda. Zobacz komentarze poniżej. )
• Stwierdzono wysoką wartość p.
• Dlatego zero jest prawdziwe.

To przybiera bardziej ogólną formę:

• Jeśli B jest prawdziwe, prawdopodobne jest, że A.
• Występuje.
• Dlatego B jest prawdą.

Jest to jednak błędne, jak widać na przykładzie:

• Jeśli padał deszcz na zewnątrz, prawdopodobnie ziemia jest mokra.
• Ziemia jest mokra.
• Dlatego padało na zewnątrz.

Ziemia mogła być bardzo mokra, ponieważ padał deszcz. Może to być spowodowane zraszaczem, czyszczeniem rynien, awarią wody itp. Bardziej ekstremalne przykłady można znaleźć w linku powyżej.

Jest to bardzo trudna koncepcja. Jeśli chcemy dowodów na wartość zerową, wymagane jest wnioskowanie bayesowskie. Dla mnie najbardziej dostępnym wyjaśnieniem tej logiki jest Rouder i in. (2016). w gazecie Czy wnioskujesz o darmowym obiedzie? opublikowane w Topics in Cognitive Science, 8, ss. 520–547.

Aby zrozumieć, co jest nie tak z założeniem, zobacz następujący przykład:

Wyobraź sobie ogrodzenie w zoo, w którym nie widać jego mieszkańców. Chcesz przetestować hipotezę, że zamieszkują ją małpy, wkładając banana do klatki i sprawdzając, czy zniknął następnego dnia. Jest to powtarzane N razy dla zwiększenia istotności statystycznej.

Teraz możesz sformułować hipotezę zerową: biorąc pod uwagę, że w zagrodzie są małpy, jest bardzo prawdopodobne, że znajdą i zjedzą banana, więc jeśli banany są nietknięte każdego dnia, jest bardzo nieprawdopodobne, że w środku są jakieś małpy.

Ale teraz widzisz, że banany znikają (prawie) każdego dnia. Czy to mówi ci, że małpy są w środku?

Oczywiście, że nie, ponieważ są też inne zwierzęta, które lubią banany, a może troskliwy dozorca usuwa banana każdego wieczoru.

Więc jaki jest błąd popełniony w tej logice? Chodzi o to, że nie wiesz nic o prawdopodobieństwie zniknięcia bananów, jeśli w środku nie ma małp. Aby potwierdzić hipotezę zerową, prawdopodobieństwo zniknięcia bananów musi być małe, jeśli hipoteza zerowa jest błędna, ale nie musi tak być. W rzeczywistości zdarzenie może być jednakowo prawdopodobne (lub nawet bardziej prawdopodobne), jeśli hipoteza zerowa jest błędna.

Nie wiedząc o tym prawdopodobieństwie, nie można powiedzieć nic o ważności hipotezy zerowej. Jeśli dozorcy usuwają wszystkie banany każdego wieczoru, eksperyment jest całkowicie bezwartościowy, nawet jeśli na pierwszy rzut oka wydaje się, że potwierdziłeś hipotezę zerową.

W swoim słynnym artykule „ Dlaczego większość opublikowanych wyników badań jest fałszywych” Ioannidis użył rozumowania bayesowskiego i błędnego określenia stawki podstawowej, aby argumentować, że większość wyników jest fałszywie dodatnia. Krótko mówiąc, prawdopodobieństwo prawdziwości określonej hipotezy badawczej po badaniu zależy między innymi od prawdopodobieństwa tej hipotezy przed badaniem (tj. Stawki podstawowej).

W odpowiedzi Moonesinghe i in. (2007) zastosowali te same ramy, aby wykazać, że replikacja znacznie zwiększa prawdopodobieństwo prawdziwości hipotezy po badaniu. Ma to sens: jeśli wiele badań może powtórzyć pewne odkrycie, jesteśmy bardziej pewni, że hipoteza jest prawdziwa.

$\alpha$

Wykres pokazuje, że jeśli co najmniej 5 na 10 badań nie osiągnie znaczenia, nasze prawdopodobieństwo, że hipoteza jest prawdziwa, po badaniu wynosi prawie 0. Te same relacje istnieją w przypadku większej liczby badań. To odkrycie ma również intuicyjny sens: powtarzające się niepowodzenie w znalezieniu efektu wzmacnia nasze przekonanie, że efekt jest najprawdopodobniej fałszywy. To rozumowanie jest zgodne z zaakceptowaną odpowiedzią @RPL.

Jako drugi scenariusz załóżmy, że badania mają jedynie moc 50% (wszystkie pozostałe są równe).

Teraz nasze prawdopodobieństwo po badaniu zmniejsza się wolniej, ponieważ każde badanie miało tylko małą moc, aby znaleźć efekt, jeśli naprawdę istniał.

Najlepsze wytłumaczenie, jakie widziałem na ten temat, pochodzi od kogoś, kto kształci się w matematyce.

$H_0$$H_1$$H_1$$H_0$$H_1$$H_1$$H_0$$H_0$

Jeśli nie podoba ci się ta konsekwencja testowania hipotez, ale nie jesteś przygotowany do pełnego przeskoku do metod bayesowskich, co powiesz na przedział ufności?

$42078$$20913$$[0.492,0.502]$

$\frac12$$\frac12$

Być może lepiej byłoby powiedzieć, że brak odrzucenia hipotezy zerowej nie jest sam w sobie dowodem na hipotezę zerową. Gdy weźmiemy pod uwagę pełne prawdopodobieństwo danych, które bardziej precyzyjnie uwzględniają ilość danych, wówczas zebrane dane mogą stanowić wsparcie dla parametrów objętych hipotezą zerową.

Powinniśmy jednak również dokładnie przemyśleć nasze hipotezy. W szczególności nie odrzucenie hipotezy point null nie jest bardzo dobrym dowodem na to, że hipoteza point null jest prawdziwa. Realistycznie gromadzi dowody, że prawdziwa wartość parametru nie jest tak daleko od danego punktu. Hipotezy point zero są w pewnym stopniu raczej sztucznymi konstruktami i najczęściej nie wierzysz, że będą prawdziwe.

Bardziej rozsądne staje się mówienie o braku odrzucenia popierającym hipotezę zerową, jeśli możesz w sposób znaczący odwrócić hipotezę zerową i alternatywną, a jeśli to robisz, odrzucasz swoją nową hipotezę zerową. Kiedy spróbujesz to zrobić za pomocą standardowej hipotezy zerowej punktu, natychmiast zobaczysz, że nigdy nie uda ci się odrzucić jej dopełnienia, ponieważ wtedy twoja odwrócona hipoteza zerowa zawiera wartości arbitralnie zbliżone do rozważanego punktu.

$H_0: |\mu| \leq \delta$$H_A: |\mu| > \delta$$\mu$$\mu$$-\delta$$+\delta$$1-\alpha$$[-\delta, +\delta]$

To zależy od tego, jak używasz języka. Zgodnie z teorią decyzji Pearsona i Neymana nie jest to dowód na wartość zerową, ale należy zachowywać się tak, jakby wartość zerowa była prawdziwa.

Trudność wynika z modus tollens. Metody bayesowskie są formą rozumowania indukcyjnego i jako takie są formą rozumowania niepełnego. Metody hipotezy zerowej są probabilistyczną formą modus tollens i jako takie są częścią wnioskowania dedukcyjnego, a zatem stanowią kompletną formę rozumowania.

Modus tollens ma postać „jeśli A jest prawdą, to B jest prawdą, a B nie jest prawdą; dlatego A nie jest prawdą”. W tej formie byłoby, gdyby zerowa była prawdziwa, wówczas dane pojawią się w określony sposób, nie pojawią się w ten sposób, dlatego (do pewnego stopnia pewności) zerowa nie jest prawdziwa (lub przynajmniej jest „sfałszowana” . ”

Problem polega na tym, że chcesz „Jeśli A to B i B.” Na tej podstawie chcesz wnioskować o A, ale to nie jest poprawne. „Jeśli A to B”, „nie wyklucza”, jeśli nie A, to B ”również z prawidłowego stwierdzenia. Zastanów się nad stwierdzeniem „jeśli jest to niedźwiedź, może pływać. Jest rybą (a nie niedźwiedziem”). Wypowiedzi nie mówią nic o zdolności pływania nie-niedźwiedzi.

Prawdopodobieństwo i statystyka to gałąź retoryki, a nie gałąź matematyki. Jest intensywnym użytkownikiem matematyki, ale nie jest jej częścią. Istnieje z różnych powodów, perswazji, podejmowania decyzji lub wnioskowania. Rozszerza retorykę na zdyscyplinowaną dyskusję na temat dowodów.

Spróbuję to zilustrować przykładem.

$\mu$$\bar{x}$$H_0:\mu=\mu_i$$\mu_i$$\mu_0$$\bar{x}$$\mu$

$H_1:\mu=M$$H_0:\mu=\mu_0$$\mu\ne\mu_0$$\mu<\mu_0$$\mu>\mu_0$

$\bar x \approx 0$$t$$H_0: \bar x = \mu$$\mu = -0.5$$p > 0.05$$H_0$$\mu = 0.5$$t$$p$$\mu = -0.5$$\mu = 0.5$

$p$$H_0$$p$$H_0$ $H_1$$\mu$$\mu$$\mu$

$\hat\mu$$\hat\mu$$\hat\mu$$f(\mu|X) \ne f(X|\mu)$$f(\mu|X)$$\hat\mu$. To prowadzi do twierdzenia Bayesa

$\mu$$\hat\mu$$\mu$

$H_1$$H_0$$H_0$itd. Jeśli poprosisz ją o kilka liczb, ona ci je da, ale liczby nie byłyby porównywalne . Problem polega na tym, że test / wyrocznia hipotezy działa w ramach, w których może udzielić rozstrzygających odpowiedzi tylko na pytania, czy dane są zgodne z pewną hipotezą , a nie na odwrót, ponieważ nie rozważasz innych hipotez.

Podążmy za prostym przykładem.

Moja hipoteza zerowa jest taka, że ​​moje dane są zgodne z rozkładem normalnym. Alternatywna hipoteza jest taka, że ​​rozkład moich danych nie jest normalny.

Rysuję dwie losowe próbki z równomiernego rozkładu na [0,1]. Nie mogę wiele zrobić z dwiema próbkami, dlatego nie byłbym w stanie odrzucić mojej hipotezy zerowej.

Czy to oznacza, że ​​mogę stwierdzić, że moje dane są zgodne z normalnym rozkładem? Nie, to jednolity rozkład !!

Problem polega na tym, że w mojej hipotezie zerowej przyjęłam założenie normalności. Dlatego nie mogę stwierdzić, że moje założenie jest prawidłowe, ponieważ nie mogę go odrzucić.

$H_0$$H_0$

$H_0$$H_0$$H_0$

Nie, to nie jest dowód, chyba że masz dowody, że jest to dowód. Nie staram się być słodka, raczej dosłowna. Istnieje prawdopodobieństwo, że zobaczysz takie dane, biorąc pod uwagę założenie, że wartość null jest prawdziwa. To WSZYSTKO, co otrzymujesz z wartości p (jeśli tak, ponieważ wartość p opiera się na samych założeniach).

Czy możesz przedstawić badanie, które pokazuje, że w przypadku badań, które „nie” potwierdzają hipotezy zerowej, większość hipotez zerowych okazuje się prawdą? Jeśli potrafisz znaleźć TO, to brak obalenia hipotez zerowych przynajmniej odzwierciedla BARDZO ogólne prawdopodobieństwo, że zerowa jest prawdziwa. Założę się, że nie masz tego badania. Ponieważ nie masz dowodów na to, że hipotezy zerowe są prawdziwe na podstawie wartości p, musisz po prostu odejść z pustymi rękami.

Zacząłeś od założenia, że ​​wartość null była prawdziwa, aby uzyskać tę wartość p, więc wartość p nie może ci nic powiedzieć o wartości null, tylko o danych. Pomyśl o tym. Jest to wnioskowanie jednokierunkowe - kropka.