Cały czas widzę ten słynny cytat, ale za każdym razem nie rozumiem podkreślonej części.
Człowiek, który „odrzuca” hipotezę prowizorycznie, jako zwyczajowa praktyka, gdy jej znaczenie jest na poziomie 1% lub wyższym, z pewnością zostanie pomylony z nie więcej niż 1% takich decyzji. Gdy hipoteza jest prawidłowa, pomyli się tylko w 1% tych przypadków, a gdy jest nieprawidłowa, nigdy nie pomyli się w odrzuceniu. [...] Jednak obliczenia są absurdalnie akademickie, ponieważ w rzeczywistości żaden pracownik naukowy nie ma ustalonego poziomu znaczenia, z jakim z roku na rok i we wszystkich okolicznościach odrzuca hipotezy; raczej zwraca uwagę na każdy konkretny przypadek w świetle swoich dowodów i pomysłów.Nie należy zapominać, że przypadki wybrane do zastosowania testu są oczywiście wysoce wybranym zestawem i że warunki wyboru nie mogą być określone nawet dla jednego pracownika; ani też, że w użytym argumencie nie byłoby oczywiste, aby ktoś wybrał rzeczywisty poziom znaczenia wskazany w konkretnej próbie, tak jakby to był jego nawyk dożywotniego używania właśnie tego poziomu.
(Metody statystyczne i wnioskowanie naukowe, 1956, s. 42–45)
Mówiąc dokładniej, nie rozumiem
- Dlaczego przypadki zastosowania testu są „wysoce wybrane”? Powiedz, że zastanawiasz się, czy średnia wysokość osób w danym obszarze jest mniejsza niż 165 cm, i zdecyduj się na przeprowadzenie testu. O ile mi wiadomo, standardowa procedura polega na pobieraniu losowych próbek z tego obszaru i mierzeniu ich wysokości. Jak można to bardzo wybrać?
- Załóżmy, że przypadki są wysoce wybrane, ale jak to się ma do wyboru poziomu istotności? Rozważmy ponownie powyższy przykład, jeśli twoja metoda próbkowania (przypuszczam, że to, co Fisher określa jako warunki selekcji ) jest wypaczona i w jakiś sposób faworyzuje wysokich ludzi, wtedy całe badanie jest zrujnowane, a subiektywne określenie poziomu istotności nie może go uratować.
- W rzeczywistości nawet nie wiem, do czego odnosi się „rzeczywisty poziom znaczenia wskazany w konkretnej próbie”. Czy jest to wartość tego eksperymentu, jakaś wstępnie ustawiona wartość, jak (nie) słynny 0,05, czy coś innego?
źródło
Próbując zobaczyć tło cytatu, doszedłem do wersji książki (nie jestem pewien, która wersja), która ma nieco inny cytat
https://archive.org/details/in.ernet.dli.2015.134555/page/n47
Wydaje mi się to krytyką, aby użyć matematycznego wyrażenia możliwości odrzucenia, błędów typu I, jako pewnego rygorystycznego argumentu. Wyrażenia te często nie są dobrym wyrażeniem tego, co jest istotne, ani też nie są rygorystyczne.
Dlaczego przypadki zastosowania testu są „wysoce wybrane”?
Wydaje się, że odnosi się to do zdania
Nie jesteśmy obojętni na testowaną hipotezę, a często testowana hipoteza nie jest uważana za prawdziwą.
jak to się ma do wyboru poziomu istotności?
Dotyczy to
Wartość p to tylko częstotliwość popełniania błędu, gdy hipoteza zerowa jest prawdziwa. Ale rzeczywista częstotliwość popełniania błędu będzie inna (niższa).
jaki jest „rzeczywisty poziom znaczenia wskazany w konkretnej próbie”?
Uważam, że ta część odnosi się do pewnego rodzaju hackowania wartości p. Zmieniając poziom istotności, alfa, po wystąpieniu obserwacji, aby dopasować obserwowaną wartość p, i udawaj, że była to wartość odcięcia od samego początku.
źródło