Jak rozwiązać paradoks Simpsona?

Paradoks Simpsona to klasyczna łamigłówka omawiana na wstępnych kursach statystyki na całym świecie. Jednak mój kurs był satysfakcjonujący, aby po prostu zauważyć, że istniał problem i nie przedstawił rozwiązania. Chciałbym wiedzieć, jak rozwiązać paradoks. To znaczy, w obliczu paradoksu Simpsona, gdzie dwie różne opcje wydają się konkurować o najlepszy wybór w zależności od sposobu podziału danych, który wybór należy wybrać?

Aby uczynić problem konkretnym, rozważmy pierwszy przykład podany w odpowiednim artykule w Wikipedii . Opiera się na prawdziwych badaniach dotyczących leczenia kamieni nerkowych.

Załóżmy, że jestem lekarzem, a badanie ujawni, że pacjent ma kamienie nerkowe. Korzystając tylko z informacji podanych w tabeli, chciałbym ustalić, czy powinienem zastosować leczenie A, czy leczenie B. Wydaje się, że jeśli znam wielkość kamienia, powinniśmy preferować leczenie A. Ale jeśli nie, to wtedy powinniśmy preferować leczenie B.

Ale zastanów się nad innym możliwym sposobem na uzyskanie odpowiedzi. Jeśli kamień jest duży, powinniśmy wybrać A, a jeśli jest mały, powinniśmy ponownie wybrać A. Więc nawet jeśli nie znamy rozmiaru kamienia, metodą przypadków widzimy, że powinniśmy preferować A. Jest to sprzeczne z naszym wcześniejszym rozumowaniem.

Więc: Pacjent wchodzi do mojego biura. Test ujawnia, że ​​mają kamienie nerkowe, ale nie daje mi żadnych informacji o ich wielkości. Jakie leczenie polecam? Czy istnieje zaakceptowane rozwiązanie tego problemu?

Wikipedia sugeruje rozwiązanie przy użyciu „przyczynowych sieci bayesowskich” i testu „tylnych drzwi”, ale nie mam pojęcia, co to jest.

W swoim pytaniu stwierdzasz, że nie wiesz, czym są „przyczynowe sieci bayesowskie” i „testy tylnych drzwi”.

Załóżmy, że masz przyczynową sieć bayesowską. To jest ukierunkowany wykres acykliczny, którego węzły przedstawiają zdania, a których skierowane krawędzie reprezentują potencjalne związki przyczynowe. Możesz mieć wiele takich sieci dla każdej z twoich hipotez. Istnieją trzy sposoby na przekonywanie o sile lub istnieniu krawędzi $A \stackrel?\rightarrow B$ .

Najłatwiejszym sposobem jest interwencja. To właśnie sugerują inne odpowiedzi, gdy mówią, że „właściwa randomizacja” naprawi problem. Losowo zmuszasz do różnych wartości i mierzysz $A$$B$ . Jeśli możesz to zrobić, jesteś skończony, ale nie zawsze możesz to zrobić. W twoim przykładzie może być nieetyczne traktowanie ludzi nieskutecznych metod leczenia śmiertelnych chorób lub mogą oni mieć pewne zdanie na temat leczenia, np. Mogą wybrać mniej surowe (leczenie B), gdy ich kamienie nerkowe są małe i mniej bolesne.

Drugi sposób to metoda drzwi wejściowych. Chcesz pokazać, że działa na B przez C , czyli A → C → B . Jeśli założymy, że C jest potencjalnie spowodowane przez A , ale nie ma innych przyczyn, a można mierzyć że C jest skorelowane z A i B jest skorelowana z C , to można stwierdzić, dowody muszą być płynący poprzez C . Oryginalny przykład: A to palenie, B to rak, C$A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$to akumulacja substancji smolistych. Smoła może pochodzić tylko z palenia i jest skorelowana zarówno z paleniem, jak i rakiem. Dlatego palenie powoduje raka poprzez smołę (choć mogą istnieć inne ścieżki przyczynowe, które łagodzą ten efekt).

Trzecim sposobem jest metoda tylnych drzwi. Chcesz pokazać, że i B nie są skorelowane z powodu „tylnymi drzwiami”, np wspólnej sprawy, czyli A ← D → B . Ponieważ założyliśmy model przyczynowy, to po prostu trzeba zablokować wszystkie ścieżki (obserwując zmienne i klimatyzacji na nich), że dowody mogą płynąć w górę od A i do B . Blokowanie tych ścieżek jest nieco trudne, ale Pearl podaje przejrzysty algorytm, który informuje, które zmienne należy obserwować, aby zablokować te ścieżki.$A$$B$$A \leftarrow D \rightarrow B$$A$$B$

Gung ma rację, że przy dobrej randomizacji pomieszanie nie będzie miało znaczenia. Ponieważ zakładamy, że interwencja w hipotetyczną przyczynę (leczenie) jest niedozwolona, ​​jakakolwiek wspólna przyczyna między hipotetyczną przyczyną (leczenie) a skutkiem (przeżycie), taka jak wiek lub rozmiar kamienia nerkowego, będzie dezorientująca. Rozwiązaniem jest wykonanie odpowiednich pomiarów, aby zablokować wszystkie tylne drzwi. Więcej informacji można znaleźć w:

Pearl, Judea. „Diagramy przyczynowe dla badań empirycznych”. Biometrika 82,4 (1995): 669-688.

Aby zastosować to do twojego problemu, najpierw narysujmy wykres przyczynowy. (Leczeniem poprzedzających) Powierzchnia kamicy nerkowej i typu obróbki Y są zarówno przyczyny sukcesu Z . X może być przyczyną Y, jeśli inni lekarze przypisują leczenie na podstawie wielkości kamienia nerkowego. Oczywiście istnieją żadne inne związki przyczynowy pomiędzy X , Y i Z . Y pojawia się po X, więc nie może być jego przyczyną. Podobnie Z pochodzi od X i Y .$X$$Y$$Z$$X$$Y$$X$$Y$$Z$$Y$$X$$Z$$X$$Y$

Ponieważ jest częstą przyczyną, należy go zmierzyć. Do eksperymentatora należy określenie wszechświata zmiennych i potencjalnych związków przyczynowych . Dla każdego eksperymentu eksperymentator mierzy niezbędne „zmienne tylnych drzwi”, a następnie oblicza krańcowy rozkład prawdopodobieństwa sukcesu leczenia dla każdej konfiguracji zmiennych. W przypadku nowego pacjenta mierzysz zmienne i postępujesz zgodnie z kuracją wskazaną przez rozkład brzeżny. Jeśli nie możesz zmierzyć wszystkiego lub nie masz dużo danych, ale wiesz coś o architekturze relacji, możesz przeprowadzić „propagację przekonań” (wnioskowanie bayesowskie) w sieci.$X$

Mam wcześniejszą odpowiedź, która omawia paradoks Simpsona : podstawowy paradoks Simpsona . Pomoże Ci to przeczytać, aby lepiej zrozumieć zjawisko.

Krótko mówiąc, paradoks Simpsona występuje z powodu zamieszania. W twoim przykładzie leczenie jest zakłócone* z rodzajem kamieni nerkowych każdego pacjenta. Wiemy z pełnej tabeli przedstawionych wyników, że leczenie A jest zawsze lepsze. Dlatego lekarz powinien wybrać leczenie A. Jedynym powodem, dla którego leczenie B wygląda lepiej, jest to, że częściej podawano go pacjentom z mniej ciężkim stanem, podczas gdy leczenie A podawano pacjentom z cięższym stanem. Niemniej jednak leczenie A działało lepiej w obu stanach. Jako lekarz nie dbasz o to, że w przeszłości gorsze leczenie było udzielane pacjentom, którzy mieli gorszy stan, dbasz tylko o pacjenta przed sobą, a jeśli chcesz, aby ten pacjent się poprawił, zapewnisz je z najlepszym dostępnym leczeniem.

* _{Należy pamiętać, że celem przeprowadzania eksperymentów i randomizowania leczenia jest stworzenie sytuacji, w której leczenie nie jest zakłócone. Gdyby omawiane badanie było eksperymentem, powiedziałbym, że proces randomizacji nie doprowadził do stworzenia sprawiedliwych grup, chociaż może to być badanie obserwacyjne - nie wiem.}

Ten ładny artykuł Judei Pearl opublikowany w 2013 r. Dotyczy dokładnie problemu wyboru opcji w obliczu paradoksu Simpsona:

Zrozumienie paradoksu Simpsona (PDF)

Czy chcesz rozwiązać ten jeden przykład czy ogólnie paradoks? Nie ma takiego drugiego, ponieważ paradoks może powstać z więcej niż jednego powodu i należy go oceniać indywidualnie dla każdego przypadku.

Paradoks jest przede wszystkim problematyczny przy zgłaszaniu danych podsumowujących i ma kluczowe znaczenie w szkoleniu osób w zakresie analizy i raportowania danych. Nie chcemy, aby badacze zgłaszali statystyki podsumowujące, które ukrywają lub zaciemniają wzorce w danych, lub analityków danych nie rozpoznają prawdziwego wzorca w danych. Nie podano rozwiązania, ponieważ nie ma jednego rozwiązania.

W tym konkretnym przypadku lekarz z tabelą wyraźnie zawsze wybiera A i ignoruje wiersz podsumowania. Nie ma znaczenia, czy znają rozmiar kamienia, czy nie. Gdyby ktoś analizujący dane zgłosił tylko linie podsumowujące przedstawione dla A i B, to byłby problem, ponieważ dane otrzymane przez lekarza nie odzwierciedlałyby rzeczywistości. W takim przypadku prawdopodobnie powinni oni również zostawić ostatni wiersz poza tabelą, ponieważ jest to poprawne tylko pod jedną interpretacją statystyki podsumowującej (możliwe są dwie). Pozostawienie czytelnikowi interpretacji poszczególnych komórek na ogół dałoby prawidłowy wynik.

(Twoje obfite komentarze wydają się sugerować, że najbardziej martwisz się nierównymi problemami N, a Simpson jest szerszy niż ten, więc nie chcę dalej rozwodzić się nad nierównym zagadnieniem N. Być może zadaj bardziej ukierunkowane pytanie. Ponadto wydaje ci się, że myślę opowiadam się za wnioskiem o normalizację. Nie jestem. Argumentuję, że należy wziąć pod uwagę, że statystyka podsumowująca jest stosunkowo arbitralnie wybrana, a wybór dokonany przez niektórych analityków doprowadził do paradoksu. Ponadto twierdzę, że patrzysz na komórki, które mieć.)

Jednym ważnym „odejściem” jest to, że jeśli przypisania do leczenia są nieproporcjonalne między podgrupami, należy wziąć pod uwagę podgrupy podczas analizy danych.

Drugim ważnym „odejściem” jest to, że badania obserwacyjne są szczególnie podatne na udzielanie błędnych odpowiedzi z powodu nieznanej obecności paradoksu Simpsona. Wynika to z faktu, że nie możemy poprawić faktu, że leczenie A było zwykle stosowane w trudniejszych przypadkach, jeśli nie wiemy, że tak było.

W odpowiednio randomizowanym badaniu możemy (1) losowo przydzielić leczenie, tak że przyznanie „nieuczciwej przewagi” jednemu zabiegowi jest wysoce nieprawdopodobne i zostanie automatycznie uwzględnione w analizie danych, lub (2) jeśli istnieje ważny powód w tym celu przydzielaj zabiegi losowo, ale nieproporcjonalnie w oparciu o znany problem, a następnie weź to pod uwagę podczas analizy.