Kiedy (jeśli w ogóle) warto przeprowadzić analizę mocy post hoc?

Rozumiem, że analiza mocy odbywa się post hoc tylko wtedy, gdy wykorzystuje wielkość obserwowanego efektu jako wielkość efektu populacji docelowej.

power-analysis user1205901 - Przywróć Monikę
źródło

Odpowiedzi:

W mojej dziedzinie widzę ludzi przeprowadzających analizy mocy post-hoc, gdy celem pracy jest wykazanie, że jakiś efekt, którego można się było spodziewać (albo z powodu wcześniejszej literatury, zdrowego rozsądku itp.), Nie jest, przynajmniej zgodny z do jakiegoś testu istotności.

Jednak w takich sytuacjach badacz jest w trudnej sytuacji - może on uzyskać nieistotny wynik albo dlatego, że efekt naprawdę nie występuje w populacji, albo dlatego, że badanie nie było wystarczająco mocne, aby wykryć efekt, nawet gdyby był obecny. Celem analizy mocy jest zatem wykazanie, że biorąc pod uwagę nawet trywialnie niewielki efekt w populacji, badanie miałoby duże prawdopodobieństwo wykrycia tego efektu.

Konkretny przykład zastosowania analizy mocy post-hoc znajduje się w tym powiązanym dokumencie.

Patrick S. Forscher
źródło

To z pewnością brzmi rozsądnie. W oparciu o twoją odpowiedź doszedłem do wniosku, że czasem jest dobry powód, aby robić analizy mocy post hoc. Jest tak, chyba że istnieje jakaś lepsza metoda wykazania, że biorąc pod uwagę nawet trywialnie niewielki efekt populacyjny, badanie miałoby duże prawdopodobieństwo wykrycia tego efektu. Czy znasz taką metodę?

user1205901 - Przywróć Monikę

Myślę, że ta metoda jest właśnie post-hocową analizą mocy. Przypuszczam, że jedną alternatywną metodą może być zastosowanie metod bayesowskich zamiast testów hipotez Pearsona, ale w mojej dziedzinie (psychologii) testowanie hipotez Pearsona jest nadal dominującym paradygmatem statystycznym.

Patrick S. Forscher

Z opisanym podejściem wiąże się ogromny problem. Średnie są zawsze różne ze względu na zmienność próbkowania, więc praktycznie każdy test byłby w stanie wykryć nawet trywialnie mały efekt przy dużej próbce (zwiększ swoje n do 99999999999 i wszystko może być znaczące). Ponadto, w przypadku odrzuconej hipotezy, nie jestem całkiem pewien, ale prawdopodobne jest, że „uzyskana moc” będzie zawsze wynosić <0,5 (przynajmniej, przynajmniej raz). Zawsze prowadziło to do wniosku, że próbka nie była wystarczająca.

Bruno,

Bruno, twoje stwierdzenie nie jest prawdziwe, chyba że efekt populacyjny jest niezerowy. Jeśli efekt populacyjny wynosi zero, to tak, zaobserwujesz niewielkie wahania obserwowanego efektu, ale będą one niewielkie i całkowicie opisane przez rozkład próbkowania parametru będącego przedmiotem zainteresowania, co prowadzi do znaczącego efektu w tempie określonym przez

α

$\alpha$

Patrick S. Forscher

Zawsze możesz obliczyć prawdopodobieństwo, że badanie przyniosłoby znaczący wynik dla danej wielkości efektu a priori. Teoretycznie należy to zrobić przed przeprowadzeniem badania, ponieważ nie ma sensu przeprowadzać badania z niską mocą, która ma małą szansę na uzyskanie znaczącego wyniku, gdy efekt jest obecny. Jednak można również obliczyć moc po badaniu, aby uświadomić sobie, że badanie miało niską moc lub, co jest mało prawdopodobne, wysoką moc w celu wykrycia nawet niewielkiego efektu.

Termin post-hoc lub moc obserwowana jest używana do analizy mocy, która wykorzystuje obserwowane wielkości efektu w próbce do obliczenia mocy przy założeniu, że wielkość zaobserwowanego efektu jest rozsądnym oszacowaniem rzeczywistej wielkości efektu. Wielu statystyk wskazało, że obserwowana moc w jednym badaniu nie jest bardzo pouczająca, ponieważ wielkości efektów nie są szacowane z wystarczającą precyzją, aby były pouczające. Niedawno naukowcy zaczęli badać zaobserwowaną moc dla zestawu badań, aby sprawdzić, jak przeciętnie są to zaawansowane badania i czy badania wykazują bardziej znaczące wyniki niż uzasadnia faktyczna moc badań.

https://replicationindex.wordpress.com/tag/observed-power/

Dr R.
źródło

Więc, Dr-r, jak ktoś może odwołać się do pierwszego wspomnianego rodzaju badania? Czy jest na to odpowiednia nazwa? Użyłem funkcji „post hoc” G * Power, ale użyłem wielkości efektu a priori. Powodem, dla którego to robię, jest to, że początkowo planowałem użyć „zgadłej” średniej różnicy i „zgadłego” odchylenia standardowego, a one bardzo różniły się od uzyskanych. Ponadto nie udało mi się osiągnąć planowanej wielkości próby w obu grupach. Nie chcę używać terminu „post hoc” w mojej pracy, ponieważ ludzie mogą go pomylić. Czy masz jakieś sugestie?

Bruno,