Randomizacja próby losowej

10

Zawsze jestem nieco zaskoczony, widząc reklamy psychologiczne za udział w badaniach eksperymentalnych. Z pewnością ludzie, którzy reagują na te reklamy, nie są losowo wybierani, a zatem stanowią populację wybraną przez siebie.

Ponieważ wiadomo, że randomizacja rozwiązuje problem samoselekcji, zastanawiałem się, czy randomizacja próbki nieprzypadkowej rzeczywiście coś zmieniła.

Co myślisz ? A także, co powinniśmy zrobić z tymi wszystkimi eksperymentami psychologicznymi opartymi na silnie wybranej przez siebie próbie?

giac
źródło

Odpowiedzi:

10

Randomizacja w próbie nieprzypadkowej może nadal wykazywać efekt, którego nie można rozsądnie wyjaśnić zmiennością losową.

Na przykład wyobraźmy sobie, że mamy populację z dwiema nierozpoznanymi podgrupami (o nieco odmiennych cechach *) o mniej więcej równej wielkości, ale twoja próbka nie jest losowa, co daje podział 80/20. Wyobraźmy sobie 2 grupy leczenia o równej wielkości. Randomizacja (przynajmniej z przyzwoitymi wielkościami próbek) będzie miała tendencję do dawania blisko tego podziału 80/20 w każdej grupie, tak że efekty leczenia wynikają z leczenia, a nie z nierównego przydzielania grup heterogenicznych do leczenia.

* prowadząc do różnych środków podstawowych, powiedzmy

Problem pojawia się, gdy chcesz rozszerzyć wnioskowanie na pewną populację docelową inną niż reprezentatywna dla twojej próbki (autoselekty); wymaga to założeń / argumentu, na który możesz nie mieć dowodów (takich jak założenie, że różnice w traktowaniu będą spójne dla wszystkich podgrup populacji).

W podobnej sytuacji wyobraź sobie testowanie leku na nadciśnienie tylko u mężczyzn, w porównaniu do standardowego leczenia i placebo. Załóżmy, że mężczyźni są odpowiednio losowo przydzieleni do grupy terapeutycznej. Efekt leczenia będzie realny w tym sensie, że naprawdę opisuje efekt u mężczyzn. Trudność pojawi się przy próbie rozszerzenia tego wniosku na kobiety .

Więc jeśli zostaną właściwie przeprowadzone i randomizowane oprócz rekrutacji, zaobserwowany znaczący efekt będzie tym, czym się wydaje, ale będzie miał zastosowanie do tego, co faktycznie pobrałeś, niekoniecznie jaki był twój pożądany cel - przekroczenie luki między nimi może wymagają starannej argumentacji; taki argument jest często nieobecny.

Kiedy byłem studentem, dość często eksperymenty z psychologią były przeprowadzane na studentach psychologii, których oczekiwano na ochotnika na określoną liczbę godzin takich eksperymentów (może się tak zdarzyć, ale nie mam regularnego kontaktu z psychologami którzy już eksperymentują). W przypadku randomizacji do leczenia wnioski mogły być prawidłowe (w zależności od tego, co zostało zrobione), ale dotyczyłyby miejscowej populacji wybranych przez siebie psychologów (ponieważ zazwyczaj wybierają eksperymenty, na które należy się zapisać), którzy są bardzo daleko od losowa próba z szerszej populacji.

Glen_b - Przywróć Monikę
źródło
Rekrutacja biednych studentów jest nadal praktyką. To, że od studentów psychologii oczekuje się udziału w takich badaniach, jest strasznym naruszeniem integralności badań, IMO.
StasK
@StasK: Dlaczego? Kiedyś uważałem je za dość interesujące i wyobrażałem sobie, że udział w nich dałby użyteczną perspektywę studentom psychologii.
Scortchi - Przywróć Monikę
1
Tak, model „wstępnej puli psychicznej” wciąż żyje i ma się dobrze. @StasK, aby uczynić to nieco mniej przymusowym, studenci są proszeni o udział w kilku eksperymentach i mogą wybrać, które z nich. Myślę, że mamy też sposób, by uczniowie mogli zrezygnować z całości.
Matt Krause,
2
W dzisiejszych czasach ludzie również szaleją za pomocą Amazonka Mechanical Turk, Ankiet konsumenckich Google i kilku innych „chmurowych” rzeczy. Teoretycznie dają ci dostęp do innych pul tematów, ale jest też wiele problemów („warunki” są znacznie bardziej zmienne, tematy mogą być mniej zmotywowane i nie masz prawdziwego sposobu, aby dowiedzieć się, czy są tymi, którzy mówią ...) Studenci są tam, bardzo zmotywowani do eksperymentu i często gotowi do pracy za tanio.
Matt Krause,
@MattKrause: Za moich czasów czeka cię loteria na butelkę wina - wolontariuszy nigdy nie brakowało.
Scortchi - Przywróć Monikę
6

Ponieważ wiadomo, że randomizacja rozwiązuje problem samoselekcji, zastanawiałem się, czy randomizacja próbki nieprzypadkowej rzeczywiście coś zmieniła.

Krótko mówiąc, nie. Pomyśl o tym w ten sposób: masz urnę ze 100 czarnymi kulkami i 100 białymi kulkami. Próbkujesz z niego 90 czarnych kulek i 10 białych kulek. Pobieranie próbek losowo z tego podpróbie nie pozwoli Ci bezstronnej wnioskowanie na samej urny.

A także, co powinniśmy zrobić z tymi wszystkimi eksperymentami psychologicznymi opartymi na silnie wybranej przez siebie próbie?

Ludzie zgadzają się, że próbkowanie nielosowe jest problemem. Ale w jakim stopniu problemem jest także twoja „teoria” mechanizmu, którym jesteś zainteresowany. Jeśli twoja hipoteza dotyczy mechanizmu, który powinien być zasadniczo taki sam dla wszystkich ludzi (tj. Odczuwanie mrozu po zanurzeniu w lodowatej woda), wówczas wybór nieprzypadkowy nie ma większego znaczenia. Niestety często nie interesujemy się tym.

abaumann
źródło
Psychologowie zadają pytania typu: „Jeśli próbuję złamać piłkę, rzucając nią w ścianę, a nie kładąc ją na stole i uderzając młotkiem, która procedura może ją rozdzielić?” Nie próbują wnioskować na temat liczby kulek każdego koloru, próbują wnioskować na temat trybu zerwania w odniesieniu do losowości do tego trybu.
StasK
Niekoniecznie Staś. W niektórych przypadkach (na przykład efekt Stroopa) celem jest uogólnienie na mechanizm poznawczy nieodłączny dla wszystkich ludzi. Nawet jeśli porównamy leczenie, randomizacja wewnątrz próby nie pozwoli na obiektywne wnioskowanie na populację (co jest tym, czym jesteśmy zainteresowani).
abaumann
1

Istnieje technika zaprojektowana w celu rozwiązania wspomnianych problemów, znana jako Bootstrapping. Bootstrapping to podejście polegające na generowaniu nowych próbek syntetycznych na podstawie rzeczywistej puli próbek z wymianą. Następnie wykonujesz statystyki dla każdej z tych syntetycznych pul próbek i porównujesz statystyki między zestawami.

Ma to tę zaletę, że pozwala na użycie wielu dodatkowych narzędzi w statystykach, ponieważ te syntetyczne próbki pochodzą ze znanej dystrybucji. Następnie możesz określić, jak dobrze estymatorzy radzą sobie z tymi syntetycznymi przypadkami. Jeśli okaże się, że estymatory wszystkich twoich próbek syntetycznych ładnie zbiegają się w tym samym wyniku, założenia ładowania początkowego pozwalają wnioskować, że estymatory po zastosowaniu do pełnej próbki zapewniają dobre oszacowania dla nieznanej populacji. Z drugiej strony, jeśli okaże się, że estymatory dają bardzo różne wyniki od zestawu próbek syntetycznych do zestawu próbek syntetycznych, należy wywnioskować, że zastosowane do pełnej próbki estymatory mogą nie zapewniać bardzo dobrych oszacowań dla nieznanej populacji.

To podejście ładowania początkowego może być wykorzystane do sprawdzenia, czy randomizacja próbki nieprzypadkowej jest wystarczająca. Oczywiście nie może tego udowodnić, ale zostało użyte jako narzędzie do zwiększenia wiarygodności poprzez podwójne sprawdzenie twojego założenia, że ​​losowe pobieranie próbek jest wystarczająco losowe.

Cort Ammon
źródło
2
Bootstrapping zakłada, że ​​twoja próbka jest bardzo podobna do populacji. Bootstrapping jest bezużyteczny, jeśli twoja próbka nie jest reprezentatywna dla populacji. Dlatego nie jestem pewien, w jaki sposób ładowanie może rozwiązać problem nieprzypadkowych próbek.
Hotaka,