Czytam Gelman & Carlin „Beyond Power Calculations: Assessment Type S (Sign) and Type M (Magnitude) Errors” (2014). Próbuję zrozumieć główną ideę, główne podejście, ale jestem zdezorientowany. Czy ktoś mógłby pomóc mi wydestylować esencję?
Papier wygląda mniej więcej tak (jeśli dobrze to zrozumiałem).
- Badania statystyczne w psychologii są często nękane przez małe próbki.
- Zależnie od statystycznie istotnego wyniku w danym badaniu
(1) rzeczywisty rozmiar efektu może być poważnie zawyżony i
(2) znak efektu może być przeciwny z dużym prawdopodobieństwem - chyba że wielkość próbki jest wystarczająco duża. - Powyżej pokazano za pomocą wcześniejszego przypuszczenia wielkości efektu w populacji, a efekt ten zwykle uważa się za niewielki.
Moim pierwszym problemem jest to, dlaczego warunek wyniku statystycznie istotnego? Czy ma to odzwierciedlać stronniczość publikacji? Ale tak się nie wydaje. Więc dlaczego?
Moim drugim problemem jest to, że jeśli sami przeprowadzę badanie, czy powinienem traktować swoje wyniki inaczej niż do tego, do czego jestem przyzwyczajony (wykonuję statystyki częstokrzyskie, niezbyt dobrze zaznajomione z Bayesianem)? Np. Wziąłbym próbkę danych, oszacowałem model i zapisałem oszacowanie punktowe dla pewnego efektu zainteresowania i zaufania wokół niego. Czy powinienem teraz nie ufać mojemu wynikowi? Czy powinienem mu nie ufać, jeśli jest to statystycznie istotne? Jak jakakolwiek wcześniejsza zmiana to zmienia?
Co jest najważniejsze (1) dla „producenta” badań statystycznych i (2) dla czytelnika stosowanych prac statystycznych?
Bibliografia:
- Gelman, Andrew i John Carlin. „Więcej niż obliczenia mocy: ocena błędów typu S (znak) i typu M (wielkość)”. Perspektywy dotyczące nauk psychologicznych 9.6 (2014): 641-651.
PS Myślę, że nowym elementem dla mnie jest włączenie wcześniejszych informacji, których nie jestem pewien, jak leczyć (pochodzących z paradygmatu częstych).
źródło
Odpowiedzi:
Przeczytałem ponownie artykuł i tym razem wydaje się znacznie jaśniejszy. Teraz również pomocne są komentarze @Glen_b i @amoeba.
Cała dyskusja opiera się na punkcie początkowym, w którym uzyskano statystycznie istotny wynik. Pod warunkiem , że szacowany rozmiar efektu rozkłada się inaczej niż w przypadku braku warunku: Artykuł wydaje się dotyczyć dwóch problemów:
Dobra wiadomość jest taka, że oba problemy można rozwiązać w zadowalający sposób.
Aby krótko odpowiedzieć na moje dwa pytania:
źródło
Jest jeszcze inny punkt widzenia tego artykułu, który może być pomocny, jeśli już stosuje się analizę bayesowską i nie dba się o część istotności statystycznej.
Załóżmy, że jest tylnym CDF ilościP β V β
Trzeba uważać, aby nikt nie wykorzystał tej metryki „mocy”, ponieważ jest to to samo, co częste obliczanie mocy, co jest dość trudne. Ale wszystkie te mierniki są dość przydatne do prospektywnej i retrospektywnej analizy projektu, nawet jeśli cała procedura modelowania jest bayesowska i nie odnosi się do żadnego wyniku istotności statystycznej.
źródło