Zawsze jestem nieco zaskoczony, widząc reklamy psychologiczne za udział w badaniach eksperymentalnych. Z pewnością ludzie, którzy reagują na te reklamy, nie są losowo wybierani, a zatem stanowią populację wybraną przez siebie.
Ponieważ wiadomo, że randomizacja rozwiązuje problem samoselekcji, zastanawiałem się, czy randomizacja próbki nieprzypadkowej rzeczywiście coś zmieniła.
Co myślisz ? A także, co powinniśmy zrobić z tymi wszystkimi eksperymentami psychologicznymi opartymi na silnie wybranej przez siebie próbie?
Odpowiedzi:
Randomizacja w próbie nieprzypadkowej może nadal wykazywać efekt, którego nie można rozsądnie wyjaśnić zmiennością losową.
Na przykład wyobraźmy sobie, że mamy populację z dwiema nierozpoznanymi podgrupami (o nieco odmiennych cechach *) o mniej więcej równej wielkości, ale twoja próbka nie jest losowa, co daje podział 80/20. Wyobraźmy sobie 2 grupy leczenia o równej wielkości. Randomizacja (przynajmniej z przyzwoitymi wielkościami próbek) będzie miała tendencję do dawania blisko tego podziału 80/20 w każdej grupie, tak że efekty leczenia wynikają z leczenia, a nie z nierównego przydzielania grup heterogenicznych do leczenia.
* prowadząc do różnych środków podstawowych, powiedzmy
Problem pojawia się, gdy chcesz rozszerzyć wnioskowanie na pewną populację docelową inną niż reprezentatywna dla twojej próbki (autoselekty); wymaga to założeń / argumentu, na który możesz nie mieć dowodów (takich jak założenie, że różnice w traktowaniu będą spójne dla wszystkich podgrup populacji).
W podobnej sytuacji wyobraź sobie testowanie leku na nadciśnienie tylko u mężczyzn, w porównaniu do standardowego leczenia i placebo. Załóżmy, że mężczyźni są odpowiednio losowo przydzieleni do grupy terapeutycznej. Efekt leczenia będzie realny w tym sensie, że naprawdę opisuje efekt u mężczyzn. Trudność pojawi się przy próbie rozszerzenia tego wniosku na kobiety .
Więc jeśli zostaną właściwie przeprowadzone i randomizowane oprócz rekrutacji, zaobserwowany znaczący efekt będzie tym, czym się wydaje, ale będzie miał zastosowanie do tego, co faktycznie pobrałeś, niekoniecznie jaki był twój pożądany cel - przekroczenie luki między nimi może wymagają starannej argumentacji; taki argument jest często nieobecny.
Kiedy byłem studentem, dość często eksperymenty z psychologią były przeprowadzane na studentach psychologii, których oczekiwano na ochotnika na określoną liczbę godzin takich eksperymentów (może się tak zdarzyć, ale nie mam regularnego kontaktu z psychologami którzy już eksperymentują). W przypadku randomizacji do leczenia wnioski mogły być prawidłowe (w zależności od tego, co zostało zrobione), ale dotyczyłyby miejscowej populacji wybranych przez siebie psychologów (ponieważ zazwyczaj wybierają eksperymenty, na które należy się zapisać), którzy są bardzo daleko od losowa próba z szerszej populacji.
źródło
Krótko mówiąc, nie. Pomyśl o tym w ten sposób: masz urnę ze 100 czarnymi kulkami i 100 białymi kulkami. Próbkujesz z niego 90 czarnych kulek i 10 białych kulek. Pobieranie próbek losowo z tego podpróbie nie pozwoli Ci bezstronnej wnioskowanie na samej urny.
Ludzie zgadzają się, że próbkowanie nielosowe jest problemem. Ale w jakim stopniu problemem jest także twoja „teoria” mechanizmu, którym jesteś zainteresowany. Jeśli twoja hipoteza dotyczy mechanizmu, który powinien być zasadniczo taki sam dla wszystkich ludzi (tj. Odczuwanie mrozu po zanurzeniu w lodowatej woda), wówczas wybór nieprzypadkowy nie ma większego znaczenia. Niestety często nie interesujemy się tym.
źródło
Istnieje technika zaprojektowana w celu rozwiązania wspomnianych problemów, znana jako Bootstrapping. Bootstrapping to podejście polegające na generowaniu nowych próbek syntetycznych na podstawie rzeczywistej puli próbek z wymianą. Następnie wykonujesz statystyki dla każdej z tych syntetycznych pul próbek i porównujesz statystyki między zestawami.
Ma to tę zaletę, że pozwala na użycie wielu dodatkowych narzędzi w statystykach, ponieważ te syntetyczne próbki pochodzą ze znanej dystrybucji. Następnie możesz określić, jak dobrze estymatorzy radzą sobie z tymi syntetycznymi przypadkami. Jeśli okaże się, że estymatory wszystkich twoich próbek syntetycznych ładnie zbiegają się w tym samym wyniku, założenia ładowania początkowego pozwalają wnioskować, że estymatory po zastosowaniu do pełnej próbki zapewniają dobre oszacowania dla nieznanej populacji. Z drugiej strony, jeśli okaże się, że estymatory dają bardzo różne wyniki od zestawu próbek syntetycznych do zestawu próbek syntetycznych, należy wywnioskować, że zastosowane do pełnej próbki estymatory mogą nie zapewniać bardzo dobrych oszacowań dla nieznanej populacji.
To podejście ładowania początkowego może być wykorzystane do sprawdzenia, czy randomizacja próbki nieprzypadkowej jest wystarczająca. Oczywiście nie może tego udowodnić, ale zostało użyte jako narzędzie do zwiększenia wiarygodności poprzez podwójne sprawdzenie twojego założenia, że losowe pobieranie próbek jest wystarczająco losowe.
źródło