The Book of Why autorstwa Judei Pearl: Dlaczego niszczy statystyki?

79

Czytam The Book of Why Judei Pearl i zaczyna się ona pod moją skórą 1 . W szczególności wydaje mi się, że bezwarunkowo krytykuje „klasyczne” statystyki, wysuwając argument słaby, że statystyki nigdy nie są w stanie zbadać związków przyczynowych, że nigdy nie są zainteresowane relacjami przyczynowymi, a statystyki „stały się modelem „oślepione przedsiębiorstwo redukcji danych”. Statystyka staje się brzydkim słowem w jego książce.

Na przykład:

Statystycy byli ogromnie zdezorientowani co do tego, jakie zmienne powinny i nie powinny być kontrolowane, więc domyślną praktyką było kontrolowanie wszystkiego, co można zmierzyć. [...] Jest to wygodna, prosta procedura do naśladowania, ale jest zarówno marnotrawna, jak i pełna błędów. Kluczowym osiągnięciem rewolucji przyczynowej było zakończenie tego zamieszania.

Jednocześnie statystycy znacznie nie doceniają kontroli w tym sensie, że nie lubią mówić o przyczynowości w ogóle [...]

Jednak modele przyczynowe są w statystykach takich jak zawsze. To znaczy, model regresji może być stosowany w zasadzie modelu przyczynowy, ponieważ są w istocie przy założeniu, że jedna zmienna jest przyczyną, a inny jest efekt (stąd korelacji różne podejścia z modelowaniem regresji) i testuje, czy związek przyczynowy wyjaśnia obserwowaną wzory .

Kolejny cytat:

Nic dziwnego, że w szczególności statystycy znaleźli tę zagadkę [problem Monty Hall] trudną do zrozumienia. Są przyzwyczajeni, jak to ujął RA Fisher (1922), do „redukcji danych” i ignorowania procesu generowania danych.

Przypomina mi to odpowiedź, którą Andrew Gelman napisał do słynnej kreskówki xkcd o Bayesianach i częstownikach: „Mimo wszystko uważam, że ta kreskówka jako całość jest niesprawiedliwa, ponieważ porównuje rozsądnego Bayesianina ze statystykami częstych, którzy ślepo podążają za radami płytkich podręczników . ”

Ilość błędnego przedstawienia słowa-s, które, jak go postrzegam, istnieje w książce Judei Pearls, sprawiło, że zastanawiam się, czy wnioskowanie przyczynowe (które do tej pory uważałem za użyteczny i interesujący sposób organizowania i testowania naukowej hipotezy 2 ) jest wątpliwe.

Pytania: czy uważasz, że Judea Pearl wprowadza w błąd statystyki, a jeśli tak, dlaczego? Żeby wnioskowanie przyczynowe brzmiało bardziej niż jest w rzeczywistości? Czy uważasz, że wnioskowanie przyczynowe jest rewolucją o dużym R, która naprawdę zmienia całe nasze myślenie?

Edytować:

Powyższe pytania są moim głównym problemem, ale skoro są one, co prawda, opiniowane, proszę odpowiedzieć na te konkretne pytania (1) jakie jest znaczenie „rewolucji przyczynowej”? (2) czym różni się od „ortodoksyjnych” statystyk?

1. Również dlatego, że jest takim skromnym facetem.
2. Mam na myśli w sensie naukowym, a nie statystycznym.

EDYCJA : Andrew Gelman napisał ten post na blogu o książce Judei Pearls i myślę, że zrobił znacznie lepszą robotę, tłumacząc moje problemy z tą książką niż ja. Oto dwa cytaty:

Na stronie 66 książki Pearl i Mackenzie piszą, że statystyki „stały się ślepym na model przedsięwzięciem ograniczania danych”. Hej! Co ty do cholery mówisz?? Jestem statystykiem, robię statystyki od 30 lat, pracuję w obszarach od polityki po toksykologię. „Redukcja danych ślepa na model”? To tylko bzdury. Cały czas używamy modeli.

I kolejny:

Popatrz. Wiem o dylemacie pluralisty. Z jednej strony Pearl uważa, że ​​jego metody są lepsze niż wszystko, co było wcześniej. W porządku. Dla niego i dla wielu innych są najlepszymi narzędziami do badania wnioskowania przyczynowego. Jednocześnie jako pluralista lub student historii naukowej zdajemy sobie sprawę, że istnieje wiele sposobów upieczenia ciasta. Trudno jest okazywać szacunek podejściom, które tak naprawdę dla ciebie nie działają, a w pewnym momencie jedynym sposobem na to jest wycofanie się i uświadomienie sobie, że prawdziwi ludzie używają tych metod do rozwiązywania prawdziwych problemów. Na przykład myślę, że podejmowanie decyzji przy użyciu wartości p jest straszną i logicznie niespójną ideą, która doprowadziła do wielu katastrof naukowych; jednocześnie wielu naukowcom udaje się wykorzystać wartości p jako narzędzia do nauki. Rozumiem to. Podobnie, Poleciłbym, aby Pearl rozpoznała, że ​​aparat statystyczny, modelowanie regresji hierarchicznej, interakcje, poststratyfikacja, uczenie maszynowe itp. Rozwiązuje prawdziwe problemy w wnioskowaniu przyczynowym. Nasze metody, takie jak Pearl, mogą również popsuć - GIGO! - i może Pearl ma rację, że lepiej byłoby przejść na jego podejście. Ale nie sądzę, żeby to pomogło, gdy wydaje niedokładne stwierdzenia na temat tego, co robimy.

styczeń
źródło
41
Regresja liniowa nie jest modelem przyczynowym. Prosta regresja liniowa jest taka sama jak korelacja par, jedyną różnicą jest standaryzacja . Jeśli więc powiesz, że regresja jest przyczynowa, to samo powinno być prawdziwe również w przypadku korelacji. Czy związek przyczynowy korelacji? Za pomocą regresji można przewidzieć dowolne, nonsensowne relacje między dowolnymi zmiennymi dowolnymi (z wieloma przypadkowymi wynikami „znaczącymi”).
Tim
8
Nieporozumienia dotyczące tego, które podejście do wnioskowania o przyczynowości w statystykach ma największą wartość między Pearl, Rubinem, Heckmanem i innymi, wydaje się, że się pogodziło, i myślę, że ton Pearl staje się coraz trudniejszy. Nie pozwól, aby odwróciło to twoją uwagę od prawdziwego wglądu, jaki ma do zaoferowania. Przeczytaj jego wcześniejszą książkę Przyczynowość, mniej dostanie się pod twoją skórę.
CloseToC,
7
@CloseToC Chciałbym dodać, że Pearl, Rubin i Heckman w pewnym sensie pracują w ramach tego samego frameworka (tj. Logicznie równoważne frameworki, patrz tutaj stats.stackexchange.com/questions/249767/... ), więc ich spory są inne z argumentów takich jak „regresja liniowa jest modelem przyczynowym”.
Carlos Cinelli
9
Sam byłem zirytowany książką. Są tam po prostu fałszywe twierdzenia statystyczne (nie mogę teraz cytować, książka z moimi notatkami na marginesie jest w domu), co sprawiło, że zastanawiałem się, czy tylko dziennikarz, który pomógł Pearl napisać książkę, czy też sam Pearl, był kiepskim statystykiem. (Nie trzeba dodawać, że byłem bardzo zaskoczony odkryciem tak rażących błędów w pracy tak szanowanego naukowca.) Jego prace są znacznie lepsze, choć nawet tam nikt nie oskarżyłby Pearl o skromność ...
Richard Hardy
15
Obawiam się, że ten wątek już splata (a) konkretną książkę od bardzo inteligentnej osoby (b) osobowość i styl debaty tej inteligentnej osoby (c) czy dany punkt widzenia jest poprawny, przesadzony czy cokolwiek innego.
Nick Cox

Odpowiedzi:

59

W pełni zgadzam się, że ton Pearl jest arogancki, a jego charakterystyka „statystyków” jest uproszczona i monolityczna. Nie uważam też, by jego pisanie było szczególnie jasne.

Myślę jednak, że ma rację.

Rozumowanie przyczynowe nie było częścią mojego formalnego szkolenia (mgr): najbliższy temu tematowi byłem fakultatywny kurs projektowania eksperymentalnego, tj. Wszelkie roszczenia przyczynowe wymagały ode mnie fizycznej kontroli środowiska. Książka Pearl Przyczynowość była moją pierwszą ekspozycją na obalenie tego pomysłu. Oczywiście nie mogę mówić za wszystkimi statystykami i programami nauczania, ale z mojej własnej perspektywy zgadzam się z obserwacją Pearl, że rozumowanie przyczynowe nie jest priorytetem w statystyce.

To prawda, że ​​statystycy czasami kontrolują więcej zmiennych, niż jest to absolutnie konieczne, ale rzadko prowadzi to do błędu (przynajmniej z mojego doświadczenia).

Jest to również przekonanie, które podtrzymałem po ukończeniu magistra statystyki w 2010 roku.

Jest to jednak głęboko niepoprawne. Kiedy kontrolujesz dla wspólnego efektu (zwanego w książce „zderzaczem”), możesz wprowadzić błąd selekcji. Ta realizacja była dla mnie dość zadziwiająca i naprawdę przekonała mnie o przydatności przedstawiania moich hipotez przyczynowych jako wykresów.

EDYCJA: Poproszono mnie o rozwinięcie stronniczości selekcji. Ten temat jest dość subtelny, gorąco polecam przejrzenie edX MOOC na diagramach przyczynowych , bardzo miłego wprowadzenia do wykresów, które zawiera rozdział poświęcony stronniczości selekcji.

Na przykład, aby sparafrazować ten artykuł cytowany w książce: Rozważ zmienne A = atrakcyjność, B = piękno, C = kompetencja. Załóżmy, że B i C są przyczynowo niezwiązane w populacji ogólnej (tj. Piękno nie powoduje kompetencji, kompetencja nie powoduje piękna, a piękno i kompetencje nie mają wspólnej przyczyny). Załóżmy również, że każdy z B lub C jest wystarczający do bycia atrakcyjnym, tj. A jest zderzaczem. Uzależnienie od A tworzy fałszywe skojarzenie między B i C.

Bardziej poważnym przykładem jest „paradoks masy urodzeniowej”, zgodnie z którym palenie (S) matki podczas ciąży wydaje się zmniejszać śmiertelność (M) dziecka, jeśli dziecko ma niedowagę (U). Proponowane wyjaśnienie jest takie, że wady wrodzone (D) powodują również niską masę urodzeniową, a także przyczyniają się do śmierci. Odpowiedni diagram przyczynowy to {S -> U, D -> U, U -> M, S -> M, D -> M}, w którym U jest zderzaczem; uwarunkowanie go wprowadza fałszywe skojarzenie. Intuicja tego polega na tym, że jeśli matka jest palaczem, niska waga urodzeniowa jest mniej prawdopodobna z powodu wady.

Mitchus
źródło
8
+1. Czy możesz nieco bardziej szczegółowo omówić sposób, w jaki wprowadza on błąd selekcji? Być może mały konkretny przykład wyjaśni to większości czytelników.
ameba
2
Dzięki za edycję. To bardzo jasne przykłady.
ameba
Tak więc intuicja dotycząca niskiej masy urodzeniowej dzieci palaczy jest prawidłowa, prawda?
Malady
@Malandy: ten model jest zgodny z danymi i ma intuicyjny sens. Nie wiem czy to jest poprawne.
mitchus,
71

Twoje pytanie odzwierciedla to, co mówi Pearl!

prosta regresja liniowa jest zasadniczo modelem przyczynowym

Y,X,Zmi[YX]mi[XY]mi[YX,Z]mi[ZY,X]

Z drugiej strony liniowe równanie strukturalne jest modelem przyczynowym. Ale pierwszym krokiem jest zrozumienie różnicy między założeniami statystycznymi (ograniczenia obserwowanego wspólnego prawdopodobieństwa rozkładu) a założeniami przyczynowymi (ograniczenia modelu przyczynowego).

czy uważasz, że Judea Pearl wprowadza w błąd statystyki, a jeśli tak, dlaczego?

Nie, nie sądzę, ponieważ codziennie widzimy te nieporozumienia. Oczywiście Pearl dokonuje pewnych uogólnień, ponieważ niektórzy statystycy pracują z wnioskami przyczynowymi (Don Rubin był pionierem w promowaniu potencjalnych rezultatów ... ja też jestem statystykiem!). Ale ma rację mówiąc, że większość tradycyjnej edukacji statystycznej unika przyczynowości, nawet formalnie definiując, co to jest skutek przyczynowy.

YXmi[Y|X] mi[Yx]mi[Y|reo(x)]

Cytat z książki jest również doskonałym przykładem. W tradycyjnych książkach statystycznych nie znajdziesz poprawnej definicji tego, co jest mylące, ani wskazówek, kiedy powinieneś (lub nie) dostosować się do zmiennej towarzyszącej w badaniach obserwacyjnych. Zasadniczo widać „kryteria korelacji”, takie jak „jeśli zmienna towarzysząca jest związana z leczeniem i wynikiem, należy go dostosować”. Jeden z najbardziej znaczących przykładów tego zamieszania pojawia się w paradoksie Simpsona - w obliczu dwóch oszacowań przeciwnych znaków, którego należy użyć, skorygowanego czy nieskorygowanego? Odpowiedź zależy oczywiście od modelu przyczynowego.

A co Pearl ma na myśli, gdy mówi, że to pytanie zostało zakończone? W przypadku prostej korekty za pomocą regresji odnosi się on do kryterium backdoora (więcej tutaj) . A dla ogólnej identyfikacji --- poza prostą korektą - oznacza to, że mamy teraz kompletne algorytmy do identyfikacji efektów przyczynowych dla dowolnego danego DAG pół-markowskiego.

Warto tutaj dodać kolejną uwagę. Nawet w badaniach eksperymentalnych - gdzie tradycyjna statystyka z pewnością wykonała wiele ważnych prac przy projektowaniu eksperymentów! - pod koniec dnia nadal potrzebujesz modelu przyczynowego . Eksperymenty mogą cierpieć z powodu braku zgodności, utraty obserwacji, uprzedzeń selekcyjnych ... także, przez większość czasu nie chcesz ograniczać wyników swoich eksperymentów do konkretnej populacji, którą analizujesz, chcesz uogólnić swoją wyniki eksperymentalne dla szerszej / innej populacji. Tutaj znowu można zapytać: do czego należy się dostosować? Czy dane i wiedza merytoryczna są wystarczające, aby umożliwić taką ekstrapolację? Wszystko to są pojęcia przyczynowe, dlatego potrzebujesz języka, aby formalnie wyrażać założenia przyczynowe i sprawdzać, czy są wystarczające, abyś mógł robić to, co chcesz!

Podsumowując, te nieporozumienia są szeroko rozpowszechnione w statystykach i ekonometrii, istnieje kilka przykładów w Cross Validated, takich jak:

I wiele więcej.

Czy uważasz, że wnioskowanie przyczynowe jest rewolucją o dużym R, która naprawdę zmienia całe nasze myślenie?

Biorąc pod uwagę obecny stan rzeczy w wielu naukach, jak bardzo się posunęliśmy i jak szybko się zmieniamy oraz jak wiele możemy jeszcze zrobić, powiedziałbym, że to rzeczywiście rewolucja.

PS : Pearl zasugerował dwa z jego postów na blogu przyczynowym UCLA, które będą interesujące w tej dyskusji, posty można znaleźć tutaj i tutaj .

PS 2 : Jak wspomniał styczeń w swoim nowym wydaniu, Andrew Gelman ma nowy post na swoim blogu. Oprócz debaty na blogu Gelmana Pearl odpowiedział również na Twitterze (poniżej):

Recenzja #Bookofwhy autorstwa Gelmana powinna być interesująca, ponieważ reprezentuje ona postawę paraliżującą szerokie kręgi badaczy statystycznych. Moja pierwsza reakcja jest teraz opublikowana na https://t.co/mRyDcgQtEc Powiązane posty:https://t.co/xUwR6eCGrZ ihttps://t.co/qwqV3oyGUy

- Judea Pearl (@yudapearl) 9 stycznia 2019 r

Carlos Cinelli
źródło
4
Dziękuję Ci. Ale - cóż, pisząc w uproszczeniu, mogę obliczyć E [X | Y], a także E [Y | X], ale mogę pisać X ← Y, a także X → Y w DAG. Jednym ze sposobów lub inny, musi zaczynać się od hipotezy naukowej lub modelu. Moja hipoteza, mój model - mój wybór. Sam fakt, że można coś zrobić, nie oznacza, że należy to zrobić, to robi.
styczeń
3
@ Stycznia nie oznacza, że ​​powinieneś, chodzi tu tylko o to, aby móc dokładnie sformułować to, co chcesz oszacować (oszacowanie przyczynowe), dokładnie sformułować swoje założenia przyczynowe (wyjaśniając rozróżnienie założeń przyczynowych i statystycznych), sprawdzając logiczne implikacje tych założeń przyczynowych i możliwość zrozumienia, czy twoje założenia przyczynowe + dane są wystarczające, aby odpowiedzieć na twoje zapytanie.
Carlos Cinelli
3
XY
4
Myślę, że tak: nie wydaje się całkowicie niesprawiedliwe sugerowanie, że przeciętny statystyk, choć prawdopodobnie dobrze zorientowany w wnioskach przyczynowych z kontrolowanych eksperymentów i na pewno nie ma niebezpieczeństwa pomylenia korelacji z przyczyną, może być nieco niepewny na podstawie wnioskowania przyczynowego z obserwacji dane. Jako ostatni biorę pod uwagę kontekst cytatu (nie czytałem książki) i jest to coś, czego niektórzy czytelnicy tego postu mogą nie zauważyć.
Scortchi
5
@January W skrócie „dostosowanie do zmiennych towarzyszących” nie musi oznaczać, zostały wyeliminowane nastawienie w przyczynowych szacunków skuteczne od tych zmiennych.
Alexis,
31

Jestem fanem pisania Judei i czytałem przyczynowość (miłość) i Book of Why (jak).

Nie sądzę, że Judea obija statystyki. Trudno usłyszeć krytykę. Ale co możemy powiedzieć o każdej osobie lub dziedzinie, która nie przyjmuje krytyki? Mają tendencję od wielkości do samozadowolenia. Musisz zapytać: czy krytyka jest poprawna, potrzebna, użyteczna i czy proponuje alternatywy? Odpowiedzią na to wszystko jest stanowcze „tak”.

1

Potrzebne? Media są zalane pozornie sprzecznymi stwierdzeniami na temat skutków zdrowotnych dużych ekspozycji. Niespójność z analizą danych stagnowała dowody, przez co brakuje nam przydatnych zasad, procedur opieki zdrowotnej i zaleceń dotyczących lepszego życia.

Przydatny? Komentarz Judei jest na tyle trafny i konkretny, by się zatrzymać. Jest to bezpośrednio związane z każdą analizą danych, z którą może się spotkać każdy statystyk lub ekspert.

Czy proponuje alternatywy? Tak, Judea faktycznie omawia możliwość zastosowania zaawansowanych metod statystycznych, a nawet tego, w jaki sposób ograniczają się one do znanych ram statystycznych (takich jak modelowanie równań strukturalnych) i ich powiązania z modelami regresji. Wszystko sprowadza się do wymagania wyraźnego stwierdzenia wiedzy o treści, która kierowała podejściem do modelowania.

Judea nie sugeruje po prostu, że defenestrujemy wszystkie metody statystyczne (np. Regresję). Mówi raczej, że musimy uzasadnić teorię przyczynową, aby uzasadnić modele.

1

AdamO
źródło
3
Niezła odpowiedź. Zauważ, że nie będąc statystykiem, ale od wielu lat służącym jako interfejs między statystyką a biologią, dla mnie jakakolwiek krytyka statystyk nie jest tak trudna do usłyszenia ;-) Czy naprawdę uważasz, że „statystyki ortodoksyjne” nie są w stanie poradzić sobie z przyczynowością w ogóle, jak wyraźnie stwierdza Pearl?
styczeń
4
@ Stycznia au contraire . Uważam, że niedostatek w statystyce akceptacji wnioskowania przyczynowego w ich analizach jest bezpośrednio związany z ich brakiem zrozumienia wnioskowania częstych. Brakuje uzasadnienia alternatywnego.
AdamO
4
„The«+1 korekta»podejście polega na wyborze zmiennych, ponieważ były one zbierane ręcznie z DD jako«użyteczne»,«istotne»«ważne»lub inne bzdury bez faktycznie włączenie formalnych hipotez o szczególnych związkach przyczynowych między nimi ( a la formalne wykorzystanie DAG) . ” Edytuj dodane. :)
Alexis,
Komentarze nie są przeznaczone do rozszerzonej dyskusji; ta rozmowa została przeniesiona do czatu .
Scortchi
23

Nie przeczytałem tej książki, więc mogę jedynie ocenić konkretny cytat. Jednak nawet na tej podstawie zgadzam się z panem, że zawód statystyczny wydaje się wyjątkowo niesprawiedliwy. Właściwie uważam, że statystycy zawsze wykonali wyjątkowo dobrą robotę, podkreślając różnicę między powiązaniami statystycznymi (korelacja itp.) A przyczynowością, i ostrzegając przed ich splotem. Rzeczywiście, z mojego doświadczenia wynika, że ​​statystycy zasadniczo byli główną siłą zawodową walczącą z wszechobecnym pomieszaniem przyczyny i korelacji. Twierdzenie, że statystycy „nie lubią mówić o przyczynowości, jest całkowicie fałszywe (i wręcz oszczercze)”. Rozumiem, dlaczego denerwujesz się czytaniem takich aroganckich bzdur.

Powiedziałbym, że jest to dość powszechne wśród niestatystówktórzy używają modeli statystycznych, aby słabo rozumieć związek między powiązaniem statystycznym a przyczynowością. Niektórzy mają dobre wykształcenie naukowe z innych dziedzin, w którym to przypadku mogą być również świadomi tego problemu, ale z pewnością niektórzy ludzie używają modeli statystycznych, którzy słabo rozumieją te kwestie. Odnosi się to do wielu stosowanych dziedzin naukowych, w których praktycy mają podstawowe szkolenie w zakresie statystyki, ale nie uczą się ich na głębokim poziomie. W takich przypadkach często zawodowi statystycy ostrzegają innych badaczy o różnicach między tymi pojęciami i ich właściwym związku. Statystycy są często kluczowymi projektantami RCT i innych eksperymentów obejmujących kontrole stosowane do izolowania związku przyczynowego. Często wzywa się ich do wyjaśnienia protokołów, takich jak randomizacja, placebo, oraz inne protokoły używane do próby zerwania relacji z potencjalnie mylącymi zmiennymi. To prawda, że ​​statystycy czasami kontrolują więcej zmiennych, niż jest to absolutnie konieczne, ale rzadko prowadzi to do błędu (przynajmniej z mojego doświadczenia). Myślę, że większość statystyk jest świadoma różnicy międzymylące zmienne i zmienne zderzające, gdy przeprowadzają analizę regresji w celu wnioskowania przyczynowego, a nawet jeśli nie zawsze budują doskonałe modele, przekonanie, że w jakiś sposób unikają uwzględnienia przyczynowości, jest po prostu śmieszne.

Myślę, że Judea Pearl wniósł bardzo cenny wkład w statystyki swoją pracą nad przyczynowością i jestem mu wdzięczny za ten wspaniały wkład. Skonstruował i przeanalizował kilka bardzo użytecznych formalizmów, które pomagają izolować związki przyczynowe, a jego praca stała się podstawą dobrego wykształcenia statystycznego. Przeczytałem jego książkę Przyczynowośćgdy byłem studentem, i to jest na mojej półce i na półkach wielu innych statystyk. Znaczna część tego formalizmu przypomina rzeczy, które statystycy znali intuicyjnie od czasu, zanim sformalizowali się w system algebraiczny, ale w każdym razie jest on bardzo cenny i wykracza poza to, co oczywiste. (Właściwie myślę, że w przyszłości zobaczymy połączenie operacji „do” z algebrą prawdopodobieństwa, występującą na poziomie aksjomatycznym, i prawdopodobnie stanie się to w końcu rdzeniem teorii prawdopodobieństwa. Chciałbym, aby było to wbudowane bezpośrednio w edukację statystyczną , aby dowiedzieć się o modelach przyczynowych i operacji „do”, gdy dowiesz się o miarach prawdopodobieństwa).

Ostatnią rzeczą, o której należy pamiętać, jest to, że istnieje wiele zastosowań statystyki, w których cel jest przewidywalny , a praktykujący nie dąży do wnioskowania o przyczynowości. Tego rodzaju aplikacje są niezwykle powszechne w statystykach iw takich przypadkach ważne jest, aby nie ograniczać się do związków przyczynowych. Dotyczy to większości zastosowań statystyki w finansach, HR, modelowaniu siły roboczej i wielu innych dziedzinach. Nie należy lekceważyć ilości kontekstów, w których nie można lub nie należy próbować kontrolować zmiennych.


Aktualizacja: Zauważyłem, że moja odpowiedź nie zgadza się z tą podaną przez Carlosa . Być może nie zgadzamy się co do tego, co stanowi „statystykę / ekonometrię z regularnym treningiem”. Każdy, kogo nazwałbym „statystykiem”, zwykle ma co najmniej wykształcenie wyższe i zwykle ma znaczne wykształcenie / doświadczenie zawodowe. (Na przykład w Australii wymóg zostania „akredytowanym statystykiem” w naszym krajowym organie zawodowym wymaga co najmniej czteroletniego doświadczenia po uzyskaniu dyplomu z wyróżnieniem lub sześcioletniego doświadczenia po uzyskaniu regularnego tytułu licencjata.) W każdym przypadku student studiowanie statystyki nie jest statystykiem .

Zauważam, że jako dowód na rzekomy brak zrozumienia związku przyczynowego przez statystów, odpowiedź Carlosa wskazuje na kilka pytań na CV.SE, które dotyczą związku przyczynowego w regresji. W każdym z tych przypadków pytanie zadaje ktoś, kto jest oczywiście nowicjuszem (a nie statystykiem), a odpowiedzi udzielone przez Carlosa i innych (które odzwierciedlają prawidłowe wyjaśnienie) są bardzo pozytywnymi odpowiedziami. Rzeczywiście w kilku przypadkach Carlos szczegółowo opisał przyczynowość, a jego odpowiedzi są bardzo wysoko oceniane. To z pewnością dowodzi, że statystycy rozumieją przyczynowość .

Niektóre inne plakaty wskazują, że analiza przyczynowości często nie jest uwzględniona w programie statystycznym. To prawda i szkoda, ale większość zawodowych statystyk nie jest świeżo upieczonymi absolwentami i nauczyli się znacznie więcej niż to, co obejmuje standardowy program magisterski. Ponownie pod tym względem wydaje się, że mam lepszy pogląd na średni poziom wiedzy statystów niż na innych plakatach.

Ben
źródło
12
Jestem niestatystą, którego formalne szkolenie w dziedzinie statystyki przeprowadzili statystycy z tej samej dziedziny. Uczę i prowadzę badania z niestatystami stosującymi statystyki. Mogę was zapewnić, że zasada, że ​​(np.) Korelacja nie jest przyczyną, jest i była powtarzającą się mantrą w mojej dziedzinie. Rzeczywiście nie spotykam ludzi, którzy nie widzą, że korelacja między opadami deszczu a plonem pszenicy to nie wszystko, co trzeba powiedzieć o związku między nimi a podstawowymi procesami. Zazwyczaj z mojego doświadczenia wynika, że ​​również statystycy zastanawiali się nad tym od dawna.
Nick Cox
8
Jako epidemiolog coraz bardziej denerwuje mnie ta mantra. Jak mówi @NickCox, jest to coś, co rozumieją nawet nie-naukowcy. Problem, który mam, polega na tym, że wszyscy wskakują na modę „korelacja nie oznacza związku przyczynowego!” za każdym razem, gdy publikowane jest badanie obserwacyjne (powiedzmy badanie kontrolne). Tak, korelacja nie oznacza związku przyczynowego, ale badacze zwykle są tego świadomi i zrobią wszystko, aby zaprojektować i przeanalizować badanie w taki sposób, aby interpretacja przyczynowa była przynajmniej możliwa.
COOLSerdash
5
@Nick Cox: Zredagowałem, aby dokładniej stwierdzić, że jest wielu niepaństwowców, którzy dobrze to rozumieją. Nie miałem zamiaru rzucać rozpaczy na inne zawody - tylko po to, aby podkreślić, że statystycy bardzo dobrze rozumieją tę kwestię .
Ben,
7
@NickCox Wkład Pearl'a w przyczynowość jest znacznie większy niż „korelacja nie jest przyczyną”. Jestem tutaj z Carlosem. Wystarczy dowiedzieć się o przyczynowości, że powinien to być cały kurs. O ile mi wiadomo, większość działów statystycznych nie oferuje takiego kursu.
Neil G,
12
@Ben: Pearl nie oskarża statystyk o mylące korelacje i związki przyczynowe. Oskarża ich przede wszystkim o unikanie przyczynowego rozumowania. Zgadzam się z tobą, że jego ton jest arogancki, ale myślę, że ma rację.
mitchus
11

prosta regresja liniowa jest zasadniczo modelem przyczynowym

Oto przykład, który wymyśliłem, gdzie model regresji liniowej nie jest przyczynowy. Powiedzmy z góry, że lek został przyjęty w czasie 0 ( t = 0 ) i że nie ma on wpływu na częstość zawałów serca przy t = 1 . Ataki serca w czasie t = 1 wpływają na ataki serca w czasie t = 2 (tzn. Poprzednie obrażenia czynią serce bardziej podatnym na obrażenia). Przeżycie przy t = 3 zależy tylko od tego, czy ludzie mieli zawał serca przy t = 2 - zawał serca przy t = 1 realistycznie wpłynąłby na przeżycie przy t = 3 , ale nie będziemy mieli strzałki, ze względu na prostota.

Oto legenda:

Legenda DAG

Oto prawdziwy wykres przyczynowy: stronniczość zderzenia

Udawajmy, że nie wiemy, że ataki serca w t = 1 są niezależne od przyjmowania leku w t = 0, więc budujemy prosty model regresji liniowej, aby oszacować wpływ leku na atak serca w t = 0 . Tutaj naszym predyktorem byłby Lek t = 0, a naszą zmienną wyniku byłby Atak Serca t = 1 . Jedyne dane, jakie mamy, to ludzie, którzy przeżyją przy t = 3 , więc przeprowadzimy regresję na tych danych.

Oto 95% przedział wiarygodności Bayesa dla współczynnika Drug t = 0 : 95% wiarygodny interwał, stronniczość zderzacza

Prawdopodobieństwo, które widzimy, jest większe niż 0, więc wygląda na to, że jest jakiś efekt! Wiemy jednak z góry, że występuje efekt 0. Matematyka związku przyczynowego opracowana przez Judeę Pearl i innych znacznie ułatwia dostrzeżenie, że w tym przykładzie wystąpi błąd (z powodu uwarunkowania potomka zderzacza). Praca Judei sugeruje, że w tej sytuacji powinniśmy użyć pełnego zestawu danych (tj. Nie patrz na ludzi, którzy przeżyli), co usunie tendencyjne ścieżki:

bez uprzedzeń

Oto 95% przedział wiarygodności, gdy patrzy się na pełny zestaw danych (tj. Nie zależy od tych, którzy przeżyli).

95% wiarygodny przedział, bez uprzedzeń.

Jest gęsto wyśrodkowany na 0, co zasadniczo nie wykazuje żadnego powiązania.

W rzeczywistych przykładach rzeczy mogą nie być takie proste. Może istnieć wiele innych zmiennych, które mogą powodować systematyczne uprzedzenia (dezorientacja, uprzedzenie wyboru itp.). To, co należy uwzględnić w analizach, zostało matematyczne przez Pearl; algorytmy mogą zasugerować, dla której zmiennej należy się dostosować, a nawet powiedzieć, kiedy dostosowanie nie wystarczy, aby usunąć systematyczne odchylenie. Po wprowadzeniu tej formalnej teorii nie musimy poświęcać zbyt wiele czasu na dyskusje na temat tego, co należy dostosować, a czego nie; możemy szybko dojść do wniosków, czy nasze wyniki są prawidłowe. Możemy lepiej zaprojektować nasze eksperymenty, łatwiej analizować dane obserwacyjne.

Oto darmowy kurs online na temat przyczynowych grup DAG autorstwa Miguela Hernàna. Zawiera wiele prawdziwych studiów przypadku, w których profesorowie / naukowcy / statystycy doszli do przeciwnych wniosków na temat omawianego pytania. Niektóre z nich mogą wydawać się paradoksami. Można je jednak łatwo rozwiązać za pomocą kryterium d-separacji i backdoora Judei Pearl .

Dla odniesienia, oto kod do procesu generowania danych i kod dla wiarygodnych przedziałów pokazany powyżej:

import numpy as np
import pandas as pd
import statsmodels as sm
import pymc3 as pm
from sklearn.linear_model import LinearRegression

%matplotlib inline

# notice that taking the drug is independent of heart attack at time 1.
# heart_attack_time_1 doesn't "listen" to take_drug_t_0
take_drug_t_0 = np.random.binomial(n=1, p=0.7, size=10000)
heart_attack_time_1 = np.random.binomial(n=1, p=0.4, size=10000)

proba_heart_attack_time_2 = []

# heart_attack_time_1 increases the probability of heart_attack_time_2. Let's say
# it's because it weakens the heart and makes it more susceptible to further
# injuries
# 
# Yet, take_drug_t_0 decreases the probability of heart attacks happening at
# time 2
for drug_t_0, heart_attack_t_1 in zip(take_drug_t_0, heart_attack_time_1):
    if drug_t_0 == 0 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 1 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 0 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.5)
    elif drug_t_0 == 1 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.05)

heart_attack_time_2 = np.random.binomial(
    n=2, p=proba_heart_attack_time_2, size=10000
)

# people who've had a heart attack at time 2 are more likely to die by time 3

proba_survive_t_3 = []
for heart_attack_t_2 in heart_attack_time_2:
    if heart_attack_t_2 == 0:
        proba_survive_t_3.append(0.95)
    else:
        proba_survive_t_3.append(0.6)

survive_t_3 = np.random.binomial(
    n=1, p=proba_survive_t_3, size=10000
)

df = pd.DataFrame(
    {
        'survive_t_3': survive_t_3,
        'take_drug_t_0': take_drug_t_0,
        'heart_attack_time_1': heart_attack_time_1,
        'heart_attack_time_2': heart_attack_time_2
    }
)

# we only have access to data of the people who survived
survive_t_3_data = df[
    df['survive_t_3'] == 1
]

survive_t_3_X = survive_t_3_data[['take_drug_t_0']]

lr = LinearRegression()
lr.fit(survive_t_3_X, survive_t_3_data['heart_attack_time_1'])
lr.coef_

with pm.Model() as collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * survive_t_3_data['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=survive_t_3_data['heart_attack_time_1']
    )

    collider_bias_normal_trace = pm.sample(2000, tune=1000)

pm.plot_posterior(collider_bias_normal_trace['take_drug_t_0'])

with pm.Model() as no_collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * df['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=df['heart_attack_time_1']
    )

    no_collider_bias_normal_trace = pm.sample(2000, tune=2000)

pm.plot_posterior(no_collider_bias_normal_trace['take_drug_t_0'])
edderic
źródło
4

Dwa artykuły, drugi klasyczny, które (jak sądzę) pomagają rzucić dodatkowe światło na kwestie Judei i ogólnie na ten temat. Pochodzi od kogoś, kto wielokrotnie używał SEM (czyli korelacji i regresji) i rezonuje z jego krytyką:

https://www.sciencedirect.com/science/article/pii/S0022103111001466

http://psycnet.apa.org/record/1973-20037-001

Zasadniczo prace opisują, dlaczego modele korelacyjne (regresje) zwykle nie mogą być przyjmowane jako sugerujące jakiekolwiek silne wnioskowanie przyczynowe. Każdy wzorzec skojarzeń może pasować do danej macierzy kowariancji (tj. Brak specyfikacji kierunku i / lub zależności między zmiennymi). Stąd potrzeba takich rzeczy, jak projekt eksperymentalny, twierdzenia kontrfaktyczne itp. Dotyczy to nawet sytuacji, gdy ktoś ma strukturę czasową swoich danych, w których domniemana przyczyna występuje na czas przed domniemanym efektem.

Jhaltiga68
źródło
1

„... ponieważ zasadniczo zakładamy, że jedna zmienna jest przyczyną, a druga skutkiem (stąd korelacja jest odmienna od modelowania regresji) ...”

Modelowanie regresji zdecydowanie nie przyjmuje tego założenia.

„... i sprawdzenie, czy ten związek przyczynowy wyjaśnia zaobserwowane wzorce”.

Jeśli zakładasz przyczynowość i weryfikujesz ją na podstawie obserwacji, wykonujesz modelowanie SEM lub coś, co Pearl nazwałaby modelowaniem SCM. To, czy chcesz nazwać tę część domeny statystyk, jest dyskusyjne. Ale myślę, że większość nie nazwałaby tego klasycznymi statystykami.

Uważam, że zamiast wyrzucać statystyki w ogólności, Pearl tylko krytykuje powściągliwość statystyków, by zająć się semantyką przyczynową. Uważa to za poważny problem ze względu na to, co Carl Sagan nazywa zjawiskiem „wchodź i wychodź”, w którym porzuca się badanie, w którym stwierdza się, że „spożycie mięsa„ jest silnie związane ”ze zwiększonym libido, p <0,05”, a następnie kłania się, wiedząc całkowicie, oba wyniki zostaną przyczynowo powiązane w opinii publicznej.

Count Zero
źródło