Jaka jest różnica między „testowaniem hipotezy” a „testem istotności”?

Czy istnieje różnica między zwrotami „testowanie hipotezy” i „test istotności”, czy są one takie same?

Po szczegółowej odpowiedzi od @Micheal Lew mam jedno zamieszanie, że dzisiejsza hipoteza (np. Test t do średniej testowej) jest przykładem albo „testu istotności”, albo „testu hipotezy”? Czy jest to połączenie obu? Jak wyróżniłbyś je za pomocą prostego przykładu?

Testy istotności są tym, co wymyślił Fisher, a testy hipotez opracowali Neyman i Pearson, aby zastąpić testy istotności. Nie są one takie same i są wzajemnie niezgodne w stopniu, który zaskoczyłby większość użytkowników testów hipotezy zerowej.

Testy istotności Fishera dają wartość ap, która pokazuje, jak ekstremalne są obserwacje pod hipotezą zerową. Ta wartość p jest wskaźnikiem dowodów przeciwko hipotezie zerowej i poziomowi istotności.

Testy hipotezy Neymana i Pearsona ustanowiły zarówno hipotezę zerową, jak i hipotezę alternatywną i działają jako reguła decyzyjna dla przyjęcia hipotezy zerowej. W skrócie (jest tego więcej, niż mogę tu podać), wybierasz akceptowalny wskaźnik wnioskowania fałszywie dodatniego, alfa (zwykle 0,05), i albo akceptujesz, albo odrzucasz zero na podstawie tego, czy wartość p jest wyższa czy niższa od alfa. Musisz przestrzegać decyzji testu statystycznego, jeśli chcesz uchronić się przed fałszywie dodatnimi błędami.

Podejście Fishera pozwala ci wziąć pod uwagę wszystko, co chcesz wziąć pod uwagę przy interpretacji wyniku, na przykład wcześniej istniejące dowody mogą być nieformalnie wzięte pod uwagę przy interpretacji i prezentacji wyniku. W podejściu NP można to zrobić tylko na etapie projektowania eksperymentalnego i wydaje się, że jest rzadko wykonywane. Moim zdaniem podejście rybackie jest bardziej przydatne w podstawowej pracy naukowej niż podejście NP.

Istnieje obszerna literatura na temat niespójności między testowaniem istotności i testowaniem hipotez oraz na temat niefortunnej hybrydyzacji tych dwóch metod. Możesz zacząć od tego artykułu: Goodman, W kierunku statystyk medycznych opartych na dowodach. 1: Błąd wartości P. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

W wielu przypadkach te dwa stwierdzenia oznaczają to samo. Mogą być jednak zupełnie inne.

Testowanie hipotezy polega na tym, by najpierw powiedzieć, co według ciebie nastąpi w przypadku jakiegoś zjawiska, a następnie opracować pewien rodzaj testu na to zjawisko, a następnie ustalić, czy zjawisko rzeczywiście miało miejsce. W wielu przypadkach testowanie hipotezy nie wymaga żadnego rodzaju testu statystycznego. Fizyk Ernest Rutherford przypomina mi ten cytat - jeśli twój eksperyment wymaga statystyk, powinieneś był zrobić lepszy eksperyment. To powiedziawszy, testowanie hipotez zwykle używa pewnego rodzaju narzędzia statystycznego.

Natomiast testowanie istotności jest pojęciem czysto statystycznym. Zasadniczo jedna ma dwie hipotezy - hipotezę zerową, która stwierdza, że ​​nie ma różnicy między twoimi (lub więcej) kolekcjami danych. Alternatywna hipoteza jest taka, że ​​istnieje różnica między dwiema próbkami, która nie wystąpiła przypadkowo.

Na podstawie projektu badania porównujesz następnie dwie (lub więcej) próbki za pomocą testu statystycznego, co daje liczbę, którą następnie porównujesz z rozkładem odniesienia (takim jak rozkład normalny, t lub F) i jeśli ta statystyka testu przekracza wartość krytyczną, odrzucasz hipotezę zerową i dochodzisz do wniosku, że istnieje różnica między dwiema (lub więcej) próbkami. Kryterium to zwykle polega na tym, że prawdopodobieństwo wystąpienia przypadkowej różnicy jest mniejsze niż jeden na dwadzieścia (p <0,05), chociaż czasem stosuje się inne.