Czy większość opublikowanych korelacji w naukach społecznych jest niewiarygodna i co należy z tym zrobić? [Zamknięte]

9

Pomimo ważnego, ale odrobiny „gotcha” -istycznych wysiłków podejmowanych przez jednostki w celu ujawnienia praktyk drapieżnych czasopism , większe i bardziej fundamentalne zagrożenie kryje się w cieniach badań w dziedzinie nauk społecznych ( choć z pewnością istnieje wiele problemów, którymi naukowcy muszą się zająć ). Aby przejść od razu do rzeczy, zgodnie z jednym poglądem możemy nie być w stanie zaufać współczynnikom korelacji uzyskanym z próbek mniejszych niż 250 .

Trudno byłoby znaleźć test, na którym można by bardziej polegać, aby wywnioskować obecność, kierunek i siłę powiązania między miarami w naukach społecznych niż zaufany współczynnik korelacji. Jednak nie trudno byłoby znaleźć raporty recenzowane, w których można było stwierdzić silne powiązania między dwoma konstruktami na podstawie współczynników korelacji obliczonych na podstawie danych z mniej niż 250 przypadków.

Biorąc pod uwagę obecny kryzys replikacji, przed którym stoją nauki społeczne (patrz drugi link powyżej), jak powinniśmy postrzegać ten raport dotyczący stabilizacji współczynników korelacji tylko w przypadku dużych próbek (przynajmniej według niektórych standardów w dziedzinie nauk społecznych)? Czy to kolejna szczelina w ścianie recenzowanych badań w dziedzinie nauk społecznych, czy jest to względnie trywialna sprawa, która została przesadzona w swojej prezentacji?

Ponieważ prawdopodobnie nie ma jednej poprawnej odpowiedzi na to pytanie, mam nadzieję zamiast tego wygenerować wątek, w którym zasoby dotyczące tego pytania mogą być udostępniane, rozważnie rozważane i dyskutowane (oczywiście grzecznie iz szacunkiem).

correlation methodology publication-bias Matt Barstead
źródło
Rozumiem, że jest to pytanie oparte na opiniach i omija ogólne wytyczne strony. Faktem jest, że wiele osób odwiedza tę stronę, aby uzyskać wgląd w statystyki, w tym lepsze zrozumienie pułapek związanych z technikami, które starają się zastosować. Mam nadzieję, że stawiając to szerokie pytanie, mogę pomóc w osiągnięciu tego, co niejasne, celu. Nauka obliczania standardowego błędu to jedno. Kolejną sprawą jest poznanie, co to znaczy władać nim przy podejmowaniu decyzji rzekomo opartej na dowodach.
Matt Barstead
Co gorsza, wybiera się te „obowiązkowe 250” przypadków. Coraz częściej widzę, że ktoś publikuje prośbę o wypełnienie ankiety, której potrzebuje do pracy lub pracy magisterskiej, na stronie mediów społecznościowych. Uzupełnij temat ankiety. Zupełnie nieświadomy, jak ludzie będą się wybierać. Żegnaj przypadkowe próbki, ponieważ ludzie w czyjejś grupie społecznej nie są przypadkowi, zwykle należą do podobnych grup ideologicznych / politycznych / ekonomicznych, a także wybierają siebie na podstawie tego, jak są zainteresowani tematem. Wskazówka „90% jest za X” , tylko dlatego, że apatyczni nie zgłosili się na ochotnika.
vsz

Odpowiedzi:

7

Dodanie przedziałów ufności dla szacowanych rzeczywistych współczynników korelacji ρbyłby to mały (i bardzo prosty) pierwszy krok we właściwym kierunku. Jego szerokość natychmiast daje wrażenie precyzji korelacji próbki, a jednocześnie pozwala pisarzowi, a także publiczności, przetestować przydatne hipotezy. Co mnie zawsze zastanawiało, kiedy rozmawiałem ze statystykami z nauk społecznych, że powyżej podano współczynnik korelacji próbki absolutnejL=0.3(lub jakiś inny limit) uznano za znaczący. W tym samym czasie testowali hipotezę robocząρ≠0. To jest nieistotne. Dlaczego bardzo mały współczynnik korelacji populacji miałby być nagle uznawany za znaczący? Byłaby „poprawna” hipoteza robocza|ρ|>L. Posiadanie przedziału ufności dlaρ pod ręką takie hipotezy można łatwo przetestować: po prostu sprawdź, czy odstęp znajduje się całkowicie powyżej L (albo poniżej −L) i wiesz, czy możesz twierdzić o „istotnym” powiązaniu statystycznym nawet w populacji.

Oczywiście samo dodanie przedziału ufności i użycie znaczących testów nie rozwiąże zbyt wielu problemów (takich jak złe projekty próbkowania, pominięte rozważanie pomyłek itp.). Ale to w zasadzie za darmo. Sądzę, że nawet SPSS jest w stanie je obliczyć!

Michael M.
źródło
1
Rzeczywiście, jeśli SPSS jest w stanie to zrobić ... Mówiąc poważniej, myślę, że pomysł położenia nacisku na CI ma sens. Pomogłoby to również w wysiłkach metaanalitycznych. Ponadto wydaje mi się, że zgłaszanie CI zamiast wartości p jest czymś w rodzaju częstego przybliżenia podejścia bayesowskiego. Zawsze uważałem, że modele bayesowskie mają tendencję do „odczuwania” bardziej uczciwości, ponieważ koncentrują się na modelowaniu rozkładu szacunków, a nie na znalezieniu maksymalnie prawdopodobnego oszacowania parametru populacji pochodzącego z pojedynczej próbki.
Matt Barstead
4

Jak zauważa Michael M. , wiarygodność zgłoszonych korelacji - lub dowolnego innego oszacowania - można ocenić za pomocą przedziałów ufności. To znaczy do pewnego stopnia. CI będą zbyt wąskie, jeśli modele zostaną wybrane po zebraniu danych, które według szacunków zdarzają się w około 95% przypadków w naukach społecznych (co szczerze stwierdzę, jest to całkowicie moje przypuszczenie).

Środek jest dwojaki:

  • Mówimy o „powtarzalność kryzys ". Dlatego nieudane replikacje informują nas, że pierwotny efekt był prawdopodobnie tylko przypadkowym hałasem. Musimy zrobić (i sfinansować, napisać, przesłać i zaakceptować) więcej replik. Badania replikacji powoli zyskują uznanie, i to jest dobra rzecz.

  • Drugie lekarstwo jest oczywiście metaanaliza. Jeśli mamy wiele zgłoszonych korelacji podobnych danych, nawet jeśli każdy z nich ma niski poziomn, możemy połączyć informacje i nauczyć się czegoś. Idealnie byłoby nawet w stanie wykryćstronniczość publikacji w trakcie.

Stephan Kolassa
źródło
@Stephen, pytanie: co oznacza „replikacja”, czy należy używać tych samych danych lub różnych danych do replikacji oryginalnego badania? Czy istnieje różnica między replikacją a powtarzalnością?
prezenter
Po pierwsze, myślę, że w ciągu ostatnich kilku lat nastąpił prawdziwy ruch w zakresie powielania. W nadchodzącym rozdziale znajdą się porady dla badaczy emocji, które moim zdaniem dobrze przekładają się na wiele podpól w naukach behawioralnych.
Matt Barstead
@forecaster: należy wykonać replikację z niezależnie gromadzonymi nowymi danymi, w przeciwnym razie nie nauczysz się niczego nowego . „Powtarzalność” nie jest terminem, z którym się zetknąłem. Oczywiście zawsze pojawia się pytanie, czy oryginalna publikacja jest wystarczająco szczegółowa, aby ktoś inny mógł faktycznie powtórzyć analizę.
Stephan Kolassa