The Book of Why autorstwa Judei Pearl: Dlaczego niszczy statystyki?

Czytam The Book of Why Judei Pearl i zaczyna się ona pod moją skórą ¹ . W szczególności wydaje mi się, że bezwarunkowo krytykuje „klasyczne” statystyki, wysuwając argument słaby, że statystyki nigdy nie są w stanie zbadać związków przyczynowych, że nigdy nie są zainteresowane relacjami przyczynowymi, a statystyki „stały się modelem „oślepione przedsiębiorstwo redukcji danych”. Statystyka staje się brzydkim słowem w jego książce.

Na przykład:

Statystycy byli ogromnie zdezorientowani co do tego, jakie zmienne powinny i nie powinny być kontrolowane, więc domyślną praktyką było kontrolowanie wszystkiego, co można zmierzyć. [...] Jest to wygodna, prosta procedura do naśladowania, ale jest zarówno marnotrawna, jak i pełna błędów. Kluczowym osiągnięciem rewolucji przyczynowej było zakończenie tego zamieszania.

Jednocześnie statystycy znacznie nie doceniają kontroli w tym sensie, że nie lubią mówić o przyczynowości w ogóle [...]

Jednak modele przyczynowe są w statystykach takich jak zawsze. To znaczy, model regresji może być stosowany w zasadzie modelu przyczynowy, ponieważ są w istocie przy założeniu, że jedna zmienna jest przyczyną, a inny jest efekt (stąd korelacji różne podejścia z modelowaniem regresji) i testuje, czy związek przyczynowy wyjaśnia obserwowaną wzory .

Kolejny cytat:

Nic dziwnego, że w szczególności statystycy znaleźli tę zagadkę [problem Monty Hall] trudną do zrozumienia. Są przyzwyczajeni, jak to ujął RA Fisher (1922), do „redukcji danych” i ignorowania procesu generowania danych.

Przypomina mi to odpowiedź, którą Andrew Gelman napisał do słynnej kreskówki xkcd o Bayesianach i częstownikach: „Mimo wszystko uważam, że ta kreskówka jako całość jest niesprawiedliwa, ponieważ porównuje rozsądnego Bayesianina ze statystykami częstych, którzy ślepo podążają za radami płytkich podręczników . ”

Ilość błędnego przedstawienia słowa-s, które, jak go postrzegam, istnieje w książce Judei Pearls, sprawiło, że zastanawiam się, czy wnioskowanie przyczynowe (które do tej pory uważałem za użyteczny i interesujący sposób organizowania i testowania naukowej hipotezy ² ) jest wątpliwe.

Pytania: czy uważasz, że Judea Pearl wprowadza w błąd statystyki, a jeśli tak, dlaczego? Żeby wnioskowanie przyczynowe brzmiało bardziej niż jest w rzeczywistości? Czy uważasz, że wnioskowanie przyczynowe jest rewolucją o dużym R, która naprawdę zmienia całe nasze myślenie?

Edytować:

Powyższe pytania są moim głównym problemem, ale skoro są one, co prawda, opiniowane, proszę odpowiedzieć na te konkretne pytania (1) jakie jest znaczenie „rewolucji przyczynowej”? (2) czym różni się od „ortodoksyjnych” statystyk?

<sub>1. Również dlatego, że jest takim skromnym facetem.
2. Mam na myśli w sensie naukowym, a nie statystycznym.</sub>

EDYCJA : Andrew Gelman napisał ten post na blogu o książce Judei Pearls i myślę, że zrobił znacznie lepszą robotę, tłumacząc moje problemy z tą książką niż ja. Oto dwa cytaty:

Na stronie 66 książki Pearl i Mackenzie piszą, że statystyki „stały się ślepym na model przedsięwzięciem ograniczania danych”. Hej! Co ty do cholery mówisz?? Jestem statystykiem, robię statystyki od 30 lat, pracuję w obszarach od polityki po toksykologię. „Redukcja danych ślepa na model”? To tylko bzdury. Cały czas używamy modeli.

I kolejny:

Popatrz. Wiem o dylemacie pluralisty. Z jednej strony Pearl uważa, że ​​jego metody są lepsze niż wszystko, co było wcześniej. W porządku. Dla niego i dla wielu innych są najlepszymi narzędziami do badania wnioskowania przyczynowego. Jednocześnie jako pluralista lub student historii naukowej zdajemy sobie sprawę, że istnieje wiele sposobów upieczenia ciasta. Trudno jest okazywać szacunek podejściom, które tak naprawdę dla ciebie nie działają, a w pewnym momencie jedynym sposobem na to jest wycofanie się i uświadomienie sobie, że prawdziwi ludzie używają tych metod do rozwiązywania prawdziwych problemów. Na przykład myślę, że podejmowanie decyzji przy użyciu wartości p jest straszną i logicznie niespójną ideą, która doprowadziła do wielu katastrof naukowych; jednocześnie wielu naukowcom udaje się wykorzystać wartości p jako narzędzia do nauki. Rozumiem to. Podobnie, Poleciłbym, aby Pearl rozpoznała, że ​​aparat statystyczny, modelowanie regresji hierarchicznej, interakcje, poststratyfikacja, uczenie maszynowe itp. Rozwiązuje prawdziwe problemy w wnioskowaniu przyczynowym. Nasze metody, takie jak Pearl, mogą również popsuć - GIGO! - i może Pearl ma rację, że lepiej byłoby przejść na jego podejście. Ale nie sądzę, żeby to pomogło, gdy wydaje niedokładne stwierdzenia na temat tego, co robimy.

W pełni zgadzam się, że ton Pearl jest arogancki, a jego charakterystyka „statystyków” jest uproszczona i monolityczna. Nie uważam też, by jego pisanie było szczególnie jasne.

Myślę jednak, że ma rację.

Rozumowanie przyczynowe nie było częścią mojego formalnego szkolenia (mgr): najbliższy temu tematowi byłem fakultatywny kurs projektowania eksperymentalnego, tj. Wszelkie roszczenia przyczynowe wymagały ode mnie fizycznej kontroli środowiska. Książka Pearl Przyczynowość była moją pierwszą ekspozycją na obalenie tego pomysłu. Oczywiście nie mogę mówić za wszystkimi statystykami i programami nauczania, ale z mojej własnej perspektywy zgadzam się z obserwacją Pearl, że rozumowanie przyczynowe nie jest priorytetem w statystyce.

To prawda, że ​​statystycy czasami kontrolują więcej zmiennych, niż jest to absolutnie konieczne, ale rzadko prowadzi to do błędu (przynajmniej z mojego doświadczenia).

Jest to również przekonanie, które podtrzymałem po ukończeniu magistra statystyki w 2010 roku.

Jest to jednak głęboko niepoprawne. Kiedy kontrolujesz dla wspólnego efektu (zwanego w książce „zderzaczem”), możesz wprowadzić błąd selekcji. Ta realizacja była dla mnie dość zadziwiająca i naprawdę przekonała mnie o przydatności przedstawiania moich hipotez przyczynowych jako wykresów.

EDYCJA: Poproszono mnie o rozwinięcie stronniczości selekcji. Ten temat jest dość subtelny, gorąco polecam przejrzenie edX MOOC na diagramach przyczynowych , bardzo miłego wprowadzenia do wykresów, które zawiera rozdział poświęcony stronniczości selekcji.

Na przykład, aby sparafrazować ten artykuł cytowany w książce: Rozważ zmienne A = atrakcyjność, B = piękno, C = kompetencja. Załóżmy, że B i C są przyczynowo niezwiązane w populacji ogólnej (tj. Piękno nie powoduje kompetencji, kompetencja nie powoduje piękna, a piękno i kompetencje nie mają wspólnej przyczyny). Załóżmy również, że każdy z B lub C jest wystarczający do bycia atrakcyjnym, tj. A jest zderzaczem. Uzależnienie od A tworzy fałszywe skojarzenie między B i C.

Bardziej poważnym przykładem jest „paradoks masy urodzeniowej”, zgodnie z którym palenie (S) matki podczas ciąży wydaje się zmniejszać śmiertelność (M) dziecka, jeśli dziecko ma niedowagę (U). Proponowane wyjaśnienie jest takie, że wady wrodzone (D) powodują również niską masę urodzeniową, a także przyczyniają się do śmierci. Odpowiedni diagram przyczynowy to {S -> U, D -> U, U -> M, S -> M, D -> M}, w którym U jest zderzaczem; uwarunkowanie go wprowadza fałszywe skojarzenie. Intuicja tego polega na tym, że jeśli matka jest palaczem, niska waga urodzeniowa jest mniej prawdopodobna z powodu wady.

Twoje pytanie odzwierciedla to, co mówi Pearl!

prosta regresja liniowa jest zasadniczo modelem przyczynowym

$Y, X, Z$$E[Y\mid X]$$E[X\mid Y]$$E[Y\mid X,Z]$$E[Z\mid Y, X]$

Z drugiej strony liniowe równanie strukturalne jest modelem przyczynowym. Ale pierwszym krokiem jest zrozumienie różnicy między założeniami statystycznymi (ograniczenia obserwowanego wspólnego prawdopodobieństwa rozkładu) a założeniami przyczynowymi (ograniczenia modelu przyczynowego).

czy uważasz, że Judea Pearl wprowadza w błąd statystyki, a jeśli tak, dlaczego?

Nie, nie sądzę, ponieważ codziennie widzimy te nieporozumienia. Oczywiście Pearl dokonuje pewnych uogólnień, ponieważ niektórzy statystycy pracują z wnioskami przyczynowymi (Don Rubin był pionierem w promowaniu potencjalnych rezultatów ... ja też jestem statystykiem!). Ale ma rację mówiąc, że większość tradycyjnej edukacji statystycznej unika przyczynowości, nawet formalnie definiując, co to jest skutek przyczynowy.

$Y$$X$$E[Y|X]$ $E[Y_{x}]$$E[Y|do(x)]$

Cytat z książki jest również doskonałym przykładem. W tradycyjnych książkach statystycznych nie znajdziesz poprawnej definicji tego, co jest mylące, ani wskazówek, kiedy powinieneś (lub nie) dostosować się do zmiennej towarzyszącej w badaniach obserwacyjnych. Zasadniczo widać „kryteria korelacji”, takie jak „jeśli zmienna towarzysząca jest związana z leczeniem i wynikiem, należy go dostosować”. Jeden z najbardziej znaczących przykładów tego zamieszania pojawia się w paradoksie Simpsona - w obliczu dwóch oszacowań przeciwnych znaków, którego należy użyć, skorygowanego czy nieskorygowanego? Odpowiedź zależy oczywiście od modelu przyczynowego.

A co Pearl ma na myśli, gdy mówi, że to pytanie zostało zakończone? W przypadku prostej korekty za pomocą regresji odnosi się on do kryterium backdoora (więcej tutaj) . A dla ogólnej identyfikacji --- poza prostą korektą - oznacza to, że mamy teraz kompletne algorytmy do identyfikacji efektów przyczynowych dla dowolnego danego DAG pół-markowskiego.

Warto tutaj dodać kolejną uwagę. Nawet w badaniach eksperymentalnych - gdzie tradycyjna statystyka z pewnością wykonała wiele ważnych prac przy projektowaniu eksperymentów! - pod koniec dnia nadal potrzebujesz modelu przyczynowego . Eksperymenty mogą cierpieć z powodu braku zgodności, utraty obserwacji, uprzedzeń selekcyjnych ... także, przez większość czasu nie chcesz ograniczać wyników swoich eksperymentów do konkretnej populacji, którą analizujesz, chcesz uogólnić swoją wyniki eksperymentalne dla szerszej / innej populacji. Tutaj znowu można zapytać: do czego należy się dostosować? Czy dane i wiedza merytoryczna są wystarczające, aby umożliwić taką ekstrapolację? Wszystko to są pojęcia przyczynowe, dlatego potrzebujesz języka, aby formalnie wyrażać założenia przyczynowe i sprawdzać, czy są wystarczające, abyś mógł robić to, co chcesz!

Podsumowując, te nieporozumienia są szeroko rozpowszechnione w statystykach i ekonometrii, istnieje kilka przykładów w Cross Validated, takich jak:

• zrozumienie, czym jest zamieszanie
• zrozumienie, które zmienne należy uwzględnić w regresji (w celu oszacowania skutków przyczynowych)
• zrozumienie, że nawet jeśli uwzględnisz wszystkie zmienne, regresja może nie być przyczynowa
• zrozumienie różnicy między (brakiem) powiązań statystycznych a przyczyną
• definiowanie modelu przyczynowego i skutków przyczynowych

I wiele więcej.

Czy uważasz, że wnioskowanie przyczynowe jest rewolucją o dużym R, która naprawdę zmienia całe nasze myślenie?

Biorąc pod uwagę obecny stan rzeczy w wielu naukach, jak bardzo się posunęliśmy i jak szybko się zmieniamy oraz jak wiele możemy jeszcze zrobić, powiedziałbym, że to rzeczywiście rewolucja.

PS : Pearl zasugerował dwa z jego postów na blogu przyczynowym UCLA, które będą interesujące w tej dyskusji, posty można znaleźć tutaj i tutaj .

PS 2 : Jak wspomniał styczeń w swoim nowym wydaniu, Andrew Gelman ma nowy post na swoim blogu. Oprócz debaty na blogu Gelmana Pearl odpowiedział również na Twitterze (poniżej):

Recenzja #Bookofwhy autorstwa Gelmana powinna być interesująca, ponieważ reprezentuje ona postawę paraliżującą szerokie kręgi badaczy statystycznych. Moja pierwsza reakcja jest teraz opublikowana na https://t.co/mRyDcgQtEc Powiązane posty:https://t.co/xUwR6eCGrZ ihttps://t.co/qwqV3oyGUy

- Judea Pearl (@yudapearl) 9 stycznia 2019 r

Jestem fanem pisania Judei i czytałem przyczynowość (miłość) i Book of Why (jak).

Nie sądzę, że Judea obija statystyki. Trudno usłyszeć krytykę. Ale co możemy powiedzieć o każdej osobie lub dziedzinie, która nie przyjmuje krytyki? Mają tendencję od wielkości do samozadowolenia. Musisz zapytać: czy krytyka jest poprawna, potrzebna, użyteczna i czy proponuje alternatywy? Odpowiedzią na to wszystko jest stanowcze „tak”.

$^1$

Potrzebne? Media są zalane pozornie sprzecznymi stwierdzeniami na temat skutków zdrowotnych dużych ekspozycji. Niespójność z analizą danych stagnowała dowody, przez co brakuje nam przydatnych zasad, procedur opieki zdrowotnej i zaleceń dotyczących lepszego życia.

Przydatny? Komentarz Judei jest na tyle trafny i konkretny, by się zatrzymać. Jest to bezpośrednio związane z każdą analizą danych, z którą może się spotkać każdy statystyk lub ekspert.

Czy proponuje alternatywy? Tak, Judea faktycznie omawia możliwość zastosowania zaawansowanych metod statystycznych, a nawet tego, w jaki sposób ograniczają się one do znanych ram statystycznych (takich jak modelowanie równań strukturalnych) i ich powiązania z modelami regresji. Wszystko sprowadza się do wymagania wyraźnego stwierdzenia wiedzy o treści, która kierowała podejściem do modelowania.

Judea nie sugeruje po prostu, że defenestrujemy wszystkie metody statystyczne (np. Regresję). Mówi raczej, że musimy uzasadnić teorię przyczynową, aby uzasadnić modele.

$^1$

Nie przeczytałem tej książki, więc mogę jedynie ocenić konkretny cytat. Jednak nawet na tej podstawie zgadzam się z panem, że zawód statystyczny wydaje się wyjątkowo niesprawiedliwy. Właściwie uważam, że statystycy zawsze wykonali wyjątkowo dobrą robotę, podkreślając różnicę między powiązaniami statystycznymi (korelacja itp.) A przyczynowością, i ostrzegając przed ich splotem. Rzeczywiście, z mojego doświadczenia wynika, że ​​statystycy zasadniczo byli główną siłą zawodową walczącą z wszechobecnym pomieszaniem przyczyny i korelacji. Twierdzenie, że statystycy „nie lubią mówić o przyczynowości, jest całkowicie fałszywe (i wręcz oszczercze)”. Rozumiem, dlaczego denerwujesz się czytaniem takich aroganckich bzdur.

Powiedziałbym, że jest to dość powszechne wśród niestatystówktórzy używają modeli statystycznych, aby słabo rozumieć związek między powiązaniem statystycznym a przyczynowością. Niektórzy mają dobre wykształcenie naukowe z innych dziedzin, w którym to przypadku mogą być również świadomi tego problemu, ale z pewnością niektórzy ludzie używają modeli statystycznych, którzy słabo rozumieją te kwestie. Odnosi się to do wielu stosowanych dziedzin naukowych, w których praktycy mają podstawowe szkolenie w zakresie statystyki, ale nie uczą się ich na głębokim poziomie. W takich przypadkach często zawodowi statystycy ostrzegają innych badaczy o różnicach między tymi pojęciami i ich właściwym związku. Statystycy są często kluczowymi projektantami RCT i innych eksperymentów obejmujących kontrole stosowane do izolowania związku przyczynowego. Często wzywa się ich do wyjaśnienia protokołów, takich jak randomizacja, placebo, oraz inne protokoły używane do próby zerwania relacji z potencjalnie mylącymi zmiennymi. To prawda, że ​​statystycy czasami kontrolują więcej zmiennych, niż jest to absolutnie konieczne, ale rzadko prowadzi to do błędu (przynajmniej z mojego doświadczenia). Myślę, że większość statystyk jest świadoma różnicy międzymylące zmienne i zmienne zderzające, gdy przeprowadzają analizę regresji w celu wnioskowania przyczynowego, a nawet jeśli nie zawsze budują doskonałe modele, przekonanie, że w jakiś sposób unikają uwzględnienia przyczynowości, jest po prostu śmieszne.

Myślę, że Judea Pearl wniósł bardzo cenny wkład w statystyki swoją pracą nad przyczynowością i jestem mu wdzięczny za ten wspaniały wkład. Skonstruował i przeanalizował kilka bardzo użytecznych formalizmów, które pomagają izolować związki przyczynowe, a jego praca stała się podstawą dobrego wykształcenia statystycznego. Przeczytałem jego książkę Przyczynowośćgdy byłem studentem, i to jest na mojej półce i na półkach wielu innych statystyk. Znaczna część tego formalizmu przypomina rzeczy, które statystycy znali intuicyjnie od czasu, zanim sformalizowali się w system algebraiczny, ale w każdym razie jest on bardzo cenny i wykracza poza to, co oczywiste. (Właściwie myślę, że w przyszłości zobaczymy połączenie operacji „do” z algebrą prawdopodobieństwa, występującą na poziomie aksjomatycznym, i prawdopodobnie stanie się to w końcu rdzeniem teorii prawdopodobieństwa. Chciałbym, aby było to wbudowane bezpośrednio w edukację statystyczną , aby dowiedzieć się o modelach przyczynowych i operacji „do”, gdy dowiesz się o miarach prawdopodobieństwa).

Ostatnią rzeczą, o której należy pamiętać, jest to, że istnieje wiele zastosowań statystyki, w których cel jest przewidywalny , a praktykujący nie dąży do wnioskowania o przyczynowości. Tego rodzaju aplikacje są niezwykle powszechne w statystykach iw takich przypadkach ważne jest, aby nie ograniczać się do związków przyczynowych. Dotyczy to większości zastosowań statystyki w finansach, HR, modelowaniu siły roboczej i wielu innych dziedzinach. Nie należy lekceważyć ilości kontekstów, w których nie można lub nie należy próbować kontrolować zmiennych.

Aktualizacja: Zauważyłem, że moja odpowiedź nie zgadza się z tą podaną przez Carlosa . Być może nie zgadzamy się co do tego, co stanowi „statystykę / ekonometrię z regularnym treningiem”. Każdy, kogo nazwałbym „statystykiem”, zwykle ma co najmniej wykształcenie wyższe i zwykle ma znaczne wykształcenie / doświadczenie zawodowe. (Na przykład w Australii wymóg zostania „akredytowanym statystykiem” w naszym krajowym organie zawodowym wymaga co najmniej czteroletniego doświadczenia po uzyskaniu dyplomu z wyróżnieniem lub sześcioletniego doświadczenia po uzyskaniu regularnego tytułu licencjata.) W każdym przypadku student studiowanie statystyki nie jest statystykiem .

Zauważam, że jako dowód na rzekomy brak zrozumienia związku przyczynowego przez statystów, odpowiedź Carlosa wskazuje na kilka pytań na CV.SE, które dotyczą związku przyczynowego w regresji. W każdym z tych przypadków pytanie zadaje ktoś, kto jest oczywiście nowicjuszem (a nie statystykiem), a odpowiedzi udzielone przez Carlosa i innych (które odzwierciedlają prawidłowe wyjaśnienie) są bardzo pozytywnymi odpowiedziami. Rzeczywiście w kilku przypadkach Carlos szczegółowo opisał przyczynowość, a jego odpowiedzi są bardzo wysoko oceniane. To z pewnością dowodzi, że statystycy rozumieją przyczynowość .

Niektóre inne plakaty wskazują, że analiza przyczynowości często nie jest uwzględniona w programie statystycznym. To prawda i szkoda, ale większość zawodowych statystyk nie jest świeżo upieczonymi absolwentami i nauczyli się znacznie więcej niż to, co obejmuje standardowy program magisterski. Ponownie pod tym względem wydaje się, że mam lepszy pogląd na średni poziom wiedzy statystów niż na innych plakatach.

prosta regresja liniowa jest zasadniczo modelem przyczynowym

Oto przykład, który wymyśliłem, gdzie model regresji liniowej nie jest przyczynowy. Powiedzmy z góry, że lek został przyjęty w czasie 0 ( t = 0 ) i że nie ma on wpływu na częstość zawałów serca przy t = 1 . Ataki serca w czasie t = 1 wpływają na ataki serca w czasie t = 2 (tzn. Poprzednie obrażenia czynią serce bardziej podatnym na obrażenia). Przeżycie przy t = 3 zależy tylko od tego, czy ludzie mieli zawał serca przy t = 2 - zawał serca przy t = 1 realistycznie wpłynąłby na przeżycie przy t = 3 , ale nie będziemy mieli strzałki, ze względu na prostota.

Oto legenda:

Oto prawdziwy wykres przyczynowy:

Udawajmy, że nie wiemy, że ataki serca w t = 1 są niezależne od przyjmowania leku w t = 0, więc budujemy prosty model regresji liniowej, aby oszacować wpływ leku na atak serca w t = 0 . Tutaj naszym predyktorem byłby Lek t = 0, a naszą zmienną wyniku byłby Atak Serca t = 1 . Jedyne dane, jakie mamy, to ludzie, którzy przeżyją przy t = 3 , więc przeprowadzimy regresję na tych danych.

Oto 95% przedział wiarygodności Bayesa dla współczynnika Drug t = 0 :

Prawdopodobieństwo, które widzimy, jest większe niż 0, więc wygląda na to, że jest jakiś efekt! Wiemy jednak z góry, że występuje efekt 0. Matematyka związku przyczynowego opracowana przez Judeę Pearl i innych znacznie ułatwia dostrzeżenie, że w tym przykładzie wystąpi błąd (z powodu uwarunkowania potomka zderzacza). Praca Judei sugeruje, że w tej sytuacji powinniśmy użyć pełnego zestawu danych (tj. Nie patrz na ludzi, którzy przeżyli), co usunie tendencyjne ścieżki:

Oto 95% przedział wiarygodności, gdy patrzy się na pełny zestaw danych (tj. Nie zależy od tych, którzy przeżyli).

.

Jest gęsto wyśrodkowany na 0, co zasadniczo nie wykazuje żadnego powiązania.

W rzeczywistych przykładach rzeczy mogą nie być takie proste. Może istnieć wiele innych zmiennych, które mogą powodować systematyczne uprzedzenia (dezorientacja, uprzedzenie wyboru itp.). To, co należy uwzględnić w analizach, zostało matematyczne przez Pearl; algorytmy mogą zasugerować, dla której zmiennej należy się dostosować, a nawet powiedzieć, kiedy dostosowanie nie wystarczy, aby usunąć systematyczne odchylenie. Po wprowadzeniu tej formalnej teorii nie musimy poświęcać zbyt wiele czasu na dyskusje na temat tego, co należy dostosować, a czego nie; możemy szybko dojść do wniosków, czy nasze wyniki są prawidłowe. Możemy lepiej zaprojektować nasze eksperymenty, łatwiej analizować dane obserwacyjne.

Oto darmowy kurs online na temat przyczynowych grup DAG autorstwa Miguela Hernàna. Zawiera wiele prawdziwych studiów przypadku, w których profesorowie / naukowcy / statystycy doszli do przeciwnych wniosków na temat omawianego pytania. Niektóre z nich mogą wydawać się paradoksami. Można je jednak łatwo rozwiązać za pomocą kryterium d-separacji i backdoora Judei Pearl .

Dla odniesienia, oto kod do procesu generowania danych i kod dla wiarygodnych przedziałów pokazany powyżej:

import numpy as np
import pandas as pd
import statsmodels as sm
import pymc3 as pm
from sklearn.linear_model import LinearRegression

%matplotlib inline

# notice that taking the drug is independent of heart attack at time 1.
# heart_attack_time_1 doesn't "listen" to take_drug_t_0
take_drug_t_0 = np.random.binomial(n=1, p=0.7, size=10000)
heart_attack_time_1 = np.random.binomial(n=1, p=0.4, size=10000)

proba_heart_attack_time_2 = []

# heart_attack_time_1 increases the probability of heart_attack_time_2. Let's say
# it's because it weakens the heart and makes it more susceptible to further
# injuries
# 
# Yet, take_drug_t_0 decreases the probability of heart attacks happening at
# time 2
for drug_t_0, heart_attack_t_1 in zip(take_drug_t_0, heart_attack_time_1):
    if drug_t_0 == 0 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 1 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 0 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.5)
    elif drug_t_0 == 1 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.05)

heart_attack_time_2 = np.random.binomial(
    n=2, p=proba_heart_attack_time_2, size=10000
)

# people who've had a heart attack at time 2 are more likely to die by time 3

proba_survive_t_3 = []
for heart_attack_t_2 in heart_attack_time_2:
    if heart_attack_t_2 == 0:
        proba_survive_t_3.append(0.95)
    else:
        proba_survive_t_3.append(0.6)

survive_t_3 = np.random.binomial(
    n=1, p=proba_survive_t_3, size=10000
)

df = pd.DataFrame(
    {
        'survive_t_3': survive_t_3,
        'take_drug_t_0': take_drug_t_0,
        'heart_attack_time_1': heart_attack_time_1,
        'heart_attack_time_2': heart_attack_time_2
    }
)

# we only have access to data of the people who survived
survive_t_3_data = df[
    df['survive_t_3'] == 1
]

survive_t_3_X = survive_t_3_data[['take_drug_t_0']]

lr = LinearRegression()
lr.fit(survive_t_3_X, survive_t_3_data['heart_attack_time_1'])
lr.coef_

with pm.Model() as collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * survive_t_3_data['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=survive_t_3_data['heart_attack_time_1']
    )

    collider_bias_normal_trace = pm.sample(2000, tune=1000)

pm.plot_posterior(collider_bias_normal_trace['take_drug_t_0'])

with pm.Model() as no_collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * df['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=df['heart_attack_time_1']
    )

    no_collider_bias_normal_trace = pm.sample(2000, tune=2000)

pm.plot_posterior(no_collider_bias_normal_trace['take_drug_t_0'])

Dwa artykuły, drugi klasyczny, które (jak sądzę) pomagają rzucić dodatkowe światło na kwestie Judei i ogólnie na ten temat. Pochodzi od kogoś, kto wielokrotnie używał SEM (czyli korelacji i regresji) i rezonuje z jego krytyką:

https://www.sciencedirect.com/science/article/pii/S0022103111001466

http://psycnet.apa.org/record/1973-20037-001

Zasadniczo prace opisują, dlaczego modele korelacyjne (regresje) zwykle nie mogą być przyjmowane jako sugerujące jakiekolwiek silne wnioskowanie przyczynowe. Każdy wzorzec skojarzeń może pasować do danej macierzy kowariancji (tj. Brak specyfikacji kierunku i / lub zależności między zmiennymi). Stąd potrzeba takich rzeczy, jak projekt eksperymentalny, twierdzenia kontrfaktyczne itp. Dotyczy to nawet sytuacji, gdy ktoś ma strukturę czasową swoich danych, w których domniemana przyczyna występuje na czas przed domniemanym efektem.

„... ponieważ zasadniczo zakładamy, że jedna zmienna jest przyczyną, a druga skutkiem (stąd korelacja jest odmienna od modelowania regresji) ...”

Modelowanie regresji zdecydowanie nie przyjmuje tego założenia.

„... i sprawdzenie, czy ten związek przyczynowy wyjaśnia zaobserwowane wzorce”.

Jeśli zakładasz przyczynowość i weryfikujesz ją na podstawie obserwacji, wykonujesz modelowanie SEM lub coś, co Pearl nazwałaby modelowaniem SCM. To, czy chcesz nazwać tę część domeny statystyk, jest dyskusyjne. Ale myślę, że większość nie nazwałaby tego klasycznymi statystykami.

Uważam, że zamiast wyrzucać statystyki w ogólności, Pearl tylko krytykuje powściągliwość statystyków, by zająć się semantyką przyczynową. Uważa to za poważny problem ze względu na to, co Carl Sagan nazywa zjawiskiem „wchodź i wychodź”, w którym porzuca się badanie, w którym stwierdza się, że „spożycie mięsa„ jest silnie związane ”ze zwiększonym libido, p <0,05”, a następnie kłania się, wiedząc całkowicie, oba wyniki zostaną przyczynowo powiązane w opinii publicznej.