Podręczniki / lektury na temat tego, co robić, gdy nie można stworzyć idealnego eksperymentu?

Mój trening statystyczny jest zakorzeniony w statystykach matematycznych, a przyjmowanie tych metod w moim stwardnieniu rozsianym jest w tej chwili trochę szokiem; obecnie trudno mi zrozumieć niektóre z tych „stosowanych” metod, ponieważ brakuje mi doświadczenia w branży.

Jednym z tematów, o których mówiliśmy w moich klasach metod, jest koncepcja eksperymentalnego projektowania.

Powiedzmy na przykład, że chcę przeprowadzić eksperyment dotyczący skuteczności programu edukacyjnego, który twierdzi, że podnosi wyniki testów uczniów z klasy K-12.

Na zajęciach z metodami nauczyli się, jak rozwiązywać taki problem: upewnij się, że masz dobre pytanie badawcze, dobrą metodę gromadzenia danych, randomizowany eksperyment, jednorodne grupy leczenia (tj. Jeden leczony tym programem, jeden być może nie) idealnie równej wielkości, a następnie uruchom $t$ test (lub jakiś test nieparametrycznej hipotezy) i wszystko jest w porządku i eleganckie, prawda?

Nie wierzę, że tak to działa w rzeczywistości.

Nauczyłem się, że na pewno będziesz musiał zrobić próbkę dla wygody. Ale poza tym nie mam pojęcia, jak zaimplementować eksperymentalne projektowanie poza tym, czego nauczyłem się z podręcznika.

Czy są jakieś podręczniki, lektury itp., Które badają te kwestie w praktyce (i idealnie, nie omijaj matematyki - nie potrzebuję szczegółowych dowodów wszystkiego, ale nie chcę, aby mówiono, że wszystko jest „ oczywiste ”, na przykład)?

Istnieją dwie dziedziny, w których randomizowane eksperymenty są prawie zawsze niemożliwe: są to nauki społeczne i ekonomia. W takich przypadkach można wykonywać tylko „quasi-eksperymenty”. Spróbuj wyszukać za pomocą słów kluczowych quasi-eksperymenty, badania obserwacyjne i nauki społeczne ; dostaniesz kilka dobrych podręczników. Mogę polecić dwie doskonałe książki na ten temat: druga książka Shadisha i Cooka to klasyk:

1. Kontrfaktyczne i wnioskowanie przyczynowe: metody i zasady badań społecznych Morgana i Winshipa
2. Projekty eksperymentalne i quasi-eksperymentalne dla uogólnionego wnioskowania przyczynowego autorstwa Williama R. Shadisha i Thomasa D. Cooka

Szczególnie polecany jest klasyczny artykuł, który wykorzystuje technikę zwaną „dopasowaniem wyniku skłonności” w warunkach nieeksperymentalnych do wnioskowania przyczynowego przez Dehejia i Wahba .

Dodatkowe rekomendacje:

1. Projekt badań obserwacyjnych Paula R. Rosenbauma.
2. Wnioskowanie przyczynowe dla statystyki, nauk społecznych i nauk biomedycznych: wprowadzenie Imbensa i Rubina.

JEŻELI patrzysz na quasi-eksperymenty z szeregami czasowymi, powyższe książki poświęcono im kilka rozdziałów, ale dedykowana książka jest autorstwa Gene v. Glass Design and Analysis of Time-Series Experiments, a ja sprawdziłbym jego artykuł Przerwane szeregi czasowe .

Ciekawostki: Gene V Glass ukuł termin „ Analiza meta ”.

W tym przypadku przydatne mogą być quasi-eksperymentalne projekty. W wielu sytuacjach w praktyce projekty eksperymentalne nie są praktyczne, ponieważ pomimo poddania się leczeniu nie można wykonać losowego przypisania do grup lub może masz tylko jedną grupę.

W swoim przykładzie edukacyjnym możesz nie mieć kontroli nad tym, kto otrzymuje leczenie, ponieważ zamierzasz przeprowadzić interwencję dla wszystkich dzieci w jednej szkole. Możesz jednak porównać ich wyniki z wynikami z poprzednich lat lub randomizować klasy, aby niektóre klasy otrzymały interwencję przed innymi, lub porównać wiele szkół, w tym te, które nie otrzymały interwencji.

Sensowne może być wykonanie przerywanego szeregu czasowego, w którym masz tylko jedną grupę, ale stale wykonuj pomiary i podawaj leczenie w połowie czasu trwania badania. W ten sposób można sprawdzić, czy nachylenie zmiennej zależnej w czasie zmieniło się zaraz po zabiegu, w stosunku do ogólnego nachylenia w całym badaniu. Liczba pomiarów może wynosić zaledwie 3, ale im więcej, tym lepiej.

Dlatego proponuję poczytać o quasi-eksperymentalnych projektach badań.

Najdokładniejszym, ogólnym i precyzyjnym traktowaniem związku przyczynowego jest Judea Pearl 2009, „Causality”, wyd. 2, Cambridge University Press.

W szczególności wyjaśnia, że ​​związek przyczynowy nie jest tak naprawdę problemem statystycznym - nawet nieograniczone dane go nie rozwiązują. Wprowadza precyzyjny język do wyrażania jakościowej i teoretycznej wiedzy potrzebnej do wnioskowania przyczynowego, gdy dane dotyczące danych są nieoptymalne. Przekonasz się, że nieudana randomizacja jest tylko jednym z wielu problemów. Podejmuje także wszystkie inne ramy matematyczne, np. Imbensa, Rubina i Rosenbauma. Nie mogę przecenić tego, jak dostępne, eleganckie i potężne jest jego podejście.

Zdecydowanie polecam. Jednak powinieneś przeczytać go w sposób nieliniowy (rozdziały 5 i 11 są bardziej dostępne, a następnie możesz przejść do tyłu przez rozdziały 1, 3 i 7 w celu zrozumienia ogólnej teorii).

Po zapoznaniu się z podstawami można z łatwością przyjrzeć się nowszym osiągnięciom, na przykład, kiedy możliwe jest „przeniesienie” wyników przyczynowych z jednego kontekstu do drugiego, co niekoniecznie jest możliwe nawet przy randomizacji (Pearl, Judei i Elias Bareinboim 2014, „Ważność zewnętrzna: od rachunku różniczkowego do przenośności między populacjami.” Nauki statystyczne).

Być może właśnie tego szukasz ...

Statystyki dla eksperymentatorów

Projektowanie i analiza eksperymentów

Projektowanie i analiza eksperymentów z R (niezwiązane z poprzednim tytułem)

Ulepszenie procesu przy użyciu danych (bezpłatnie online lub w formacie PDF, rozdział 5 dotyczy DoE)