Dlaczego „wyjaśnianie” ma sens intuicyjny?

Niedawno dowiedziałem się o zasadzie rozumowania probabilistycznego zwanej „ wyjaśnianiem ” i staram się pojąć w tym intuicję.

Pozwól, że przygotuję scenariusz. Niech $A$ będzie wydarzeniem, w którym ma miejsce trzęsienie ziemi. Niech wydarzenie $B$ będzie wydarzeniem, gdy wesoły zielony gigant spaceruje po mieście. Niech $C$ będzie wydarzeniem, w którym ziemia się trzęsie. Niech $A \perp\!\!\!\perp B$ . Jak widać, zarównolub B może powodować C .$A$$B$$C$

Używam rozumowania „wyjaśnij”, jeśli występuje $C$ , jeden z $P(A)$ lub $P(B)$ wzrasta, ale drugi maleje, ponieważ nie potrzebuję alternatywnych powodów, aby wyjaśnić, dlaczego $C$ wystąpiło. Jednak moja obecna intuicja mówi mi, że zarówno $P(A)$ i $P(B)$ powinna wzrosnąć, jeśli $C$ występuje od $C$ występujące sprawia, że bardziej prawdopodobne, że każdy z przyczyn $C$ wystąpiły.

Jak pogodzić moją obecną intuicję z pomysłem wyjaśnienia? Jak użyć wyjaśnienia, aby uzasadnić, że $A$ i $B$ są warunkowo zależne$C$ ?

Wyjaśnienie i notacja

jeśli wystąpi C, jeden z P (A) lub P (B) wzrasta, ale drugi maleje

To nie jest poprawne Zakładasz (domyślnie i racjonalnie), że A jest (marginalnie) niezależny od B, a także, że A i B są jedynymi przyczynami C. Oznacza to, że A i B są rzeczywiście zależne od C , ich wspólnego działania. Fakty te są spójne, ponieważ wyjaśnienie dotyczy P (A | C), co nie jest tym samym rozkładem co P (A). Ważna jest tutaj notacja paska kondycjonującego.

Jednak moja obecna intuicja podpowiada mi, że zarówno P (A), jak i P (B) powinny wzrosnąć, jeśli wystąpi C, ponieważ wystąpienie C zwiększa prawdopodobieństwo wystąpienia którejkolwiek z przyczyn C.

Masz „wnioskowanie z częściowo kontrolowanej rozbiórki” (szczegóły poniżej). Po pierwsze, już wierzysz, że C wskazuje, że zdarzyło się A lub B, więc nie możesz być bardziej pewien, że A lub B wydarzyło się, gdy zobaczysz C. Ale co z A i B, biorąc pod uwagę C? Cóż, jest to możliwe, ale mniej prawdopodobne niż A, a nie B, ani B, a nie A. To jest „wyjaśnienie” i do czego potrzebujesz intuicji.

Intuicja

Przejdźmy do modelu ciągłego, abyśmy mogli łatwiej wizualizować rzeczy i myśleć o korelacji jako szczególnej formie nie-niezależności. Załóżmy, że wyniki czytania (A) i matematyki (B) są niezależnie rozłożone w ogólnej populacji. Załóżmy teraz, że szkoła przyjmie (C) ucznia z połączonym wynikiem z czytania i matematyki powyżej pewnego progu. (Nie ma znaczenia, jaki jest ten próg, o ile jest on przynajmniej trochę selektywny).

Oto konkretny przykład: Załóżmy, że niezależna jednostka normalnie rozprowadza wyniki z czytania i matematyki oraz próbka uczniów, podsumowana poniżej. Gdy wynik czytania i matematyki studenta jest razem powyżej progu przyjęć (tutaj 1.5), uczeń jest wyświetlany jako czerwona kropka.

Ponieważ dobre wyniki matematyczne równoważą złe wyniki czytania i odwrotnie, populacja przyjętych studentów będzie taka, że ​​czytanie i matematyka są teraz zależne i ujemnie skorelowane (-0,65 tutaj). Dotyczy to również niedopuszczonej populacji (tutaj -0,19 tutaj).

Tak więc, kiedy spotkasz losowo wybraną studentkę i usłyszysz o jej wysokim wyniku z matematyki, powinieneś spodziewać się, że uzyskała niższy wynik z czytania - wynik z matematyki „wyjaśnia” jej przyznanie. Oczywiście mogłaby również mieć wysoki wynik w czytaniu - z pewnością dzieje się to w fabule - ale jest to mniej prawdopodobne. I nic z tego nie wpływa na nasze wcześniejsze założenie o braku korelacji, ujemnej lub dodatniej, między wynikami matematycznymi i czytelniczymi w populacji ogólnej.

Kontrola intuicji

Wracając do dyskretnego przykładu bliższego oryginałowi. Rozważ najlepszą (i być może jedyną) kreskówkę o „wyjaśnianiu”.

Działka rządowa to A, a działka terrorystyczna to B i traktuj ogólne zniszczenie jak C, ignorując fakt, że istnieją dwie wieże. Jeśli jasne jest, dlaczego publiczność jest dość racjonalna, gdy wątpi w teorię mówcy, rozumiesz „wyjaśnianie”.

Myślę, że twoja intuicja jest w porządku, ale twoje rozumienie rozumowania „wyjaśniaj” jest błędne.

W artykule, do którego linkowałeś

„Wyjaśnienie” jest powszechnym wzorcem rozumowania, w którym potwierdzenie jednej przyczyny zaobserwowanego lub domniemanego zdarzenia zmniejsza potrzebę powoływania się na alternatywne przyczyny

(podkreślenie dodane)

Jest to zupełnie inne niż twoje:

Używam rozumowania „wyjaśnij”, jeśli występuje , jeden z P ( A ) lub P ( B ) wzrasta, ale drugi maleje, ponieważ nie potrzebuję alternatywnych powodów, aby wyjaśnić, dlaczego C wystąpiło.$C$$P(A)$$P(B)$$C$

Nie potrzebujesz tylko aby wystąpić, musisz to również wyjaśnić potwierdzeniem A lub $C$$A$$B$ zanim zmniejszysz prawdopodobieństwo innego możliwego wyjaśnienia

Pomyśl o tym w inny sposób. Ziemia się trzęsie. Obserwujesz , gigant błąka się po okolicy. Wyjaśnia to C , więc wydaje się mało prawdopodobne, że trzęsienie ziemi jest teraz - zadowalasz się gigantycznym wyjaśnieniem. Ale obserwowanie giganta było kluczowe - dopóki nie zrozumiałeś tego jako trzęsienia ziemi, nic nie zostało wyjaśnione. Gdy wszystko, co miałeś, to C , w rzeczywistości zarówno P ( A | C ), jak i P ( B | C ) to> P ( A ) i P ( B $B$$C$$C$$P(A|C)$$P(B|C)$$P(A)$$P(B)$ odpowiednio, zgodnie z odpowiedzią @ Glen_b.

W przypadku braku konkretnych dodatkowych informacji, które zmieniają prawdopodobieństwo warunkowe lub B , mówi reguła Bayesa$A$$B$

$P(A|C) = \frac{P(C|A)P(A)}{P(C)}$ i podobnie dla $P(B|C)$

Jeżeli $\frac{P(C|A)}{P(C)}$ i Oba P ( C ) są większe niż 1 (czego można się spodziewać, jeśli słowo „wyjaśnienie” naprawdę coś znaczy), wówczaszarównoA,jakiBbędą bardziej warunkowo bardziej prawdopodobne niż były przedzaobserwowaniem$\frac{P(C|B)}{P(C)}$ $A$$B$$C$

Interesujące będzie sprawdzenie, czy po zaobserwowaniu C staje się stosunkowo bardziej prawdopodobne niż przedtem.$C$

$\frac{P(A|C)}{P(B|C)} = \frac{P(C|A)P(A)}{P(C|B)P(B)}$

$C$$P(A)/P(B)$$C$

Prosisz o intuicję. Co to znaczy?$A$ i $B$są niezależne? Oznacza to, że jeśli powiem ci, że właśnie widziałem potwora, twoja opinia na temat wystąpienia trzęsienia ziemi nie zmieni się; i odwrotnie. Jeśli uważasz, że jedno i drugie$P(C\mid A)$ i $P(C\mid B)$są wysokie i mówię wam, że ziemia się trzęsie i nie ma w mieście żadnego potwora, czy to nie zmieniłoby waszej opinii na temat wystąpienia trzęsienia ziemi, czyniąc to bardziej prawdopodobnym?

Z powiązanego streszczenia wydaje się, że „wyjaśnienie” omawia mechanizm uczenia się, powszechny sposób rozumowania człowieka, a nie formalną metodę logiki lub prawdopodobieństwa. Jest to ludzki sposób rozumowania, który nie jest formalnie poprawny, podobnie jak rozumowanie indukcyjne nie jest formalnie poprawne (w przeciwieństwie do rozumowania dedukcyjnego). Myślę więc, że logika formalna i odpowiedzi dotyczące prawdopodobieństwa są bardzo dobre, ale nie mają zastosowania. (Pamiętaj, że streszczenie znajduje się w kontekście analizy maszynowej).

Twój przykład gigantów jest do tego bardzo dobry. Wierzymy, że trzęsienia ziemi lub olbrzymy mogą powodować wstrząsy ziemi. Ale wierzymy również, że giganci nie istnieją - lub jest bardzo mało prawdopodobne. Ziemia się trzęsie. Nie będziemy badać, czy gigant chodzi wokół, ale raczej zapytamy, czy miało miejsce trzęsienie ziemi. Słysząc, że trzęsienie ziemi rzeczywiście miało miejsce, jesteśmy jeszcze bardziej przekonani, że trzęsienia ziemi są wystarczającym wyjaśnieniem trzęsienia ziemi i że giganci są jeszcze bardziej pewni, że nie będą istnieć, a przynajmniej jeszcze bardziej mało prawdopodobne.

Zaakceptowalibyśmy tylko to, że olbrzym spowodował, że ziemia się trzęsie tylko wtedy, gdy: 1) faktycznie byliśmy świadkami tego olbrzyma i byliśmy gotowi uwierzyć, że nie daliśmy się oszukać i że nasze wcześniejsze założenie, że olbrzymi były bardzo mało prawdopodobne lub niemożliwe, było błędne, lub 2) moglibyśmy całkowicie wyeliminować możliwość trzęsienia ziemi, a także wyeliminować wszystkie możliwości D, E, F, G, ... o których wcześniej nie myśleliśmy, ale teraz wydają się bardziej prawdopodobne niż gigant.

W gigantycznym przypadku ma to sens. Ten mechanizm uczenia się (wyjaśnienie, które wydaje się prawdopodobne, staje się jeszcze bardziej prawdopodobne i powoduje, że inne wyjaśnienia stają się mniej prawdopodobne, za każdym razem, gdy to wyjaśnienie działa), jest ogólnie uzasadnione, ale nas też spali. Na przykład idee, że Ziemia krąży wokół Słońca lub że wrzody są wywoływane przez bakterie, miały trudności z uzyskaniem przyczepności z powodu „wyjaśnienia”, co w tym przypadku nazwalibyśmy uprzedzeniem potwierdzającym.

Fakt, że streszczenie znajduje się w ustawieniu Inteligencji Maszynowej, również sprawia, że ​​omawiam mechanizm uczenia się powszechnie używany przez ludzi (i inne zwierzęta, jak sądzę), który mógłby przynieść korzyści systemom uczenia się, chociaż może być również bardzo wadliwy. Społeczność AI próbowała formalnych systemów przez lata, nie zbliżając się do inteligencji podobnej do człowieka, i wierzę, że pragmatyka wygrała z formalizmem, a „wyjaśnianie” jest czymś, co robimy, a zatem AI musi to zrobić.

Myślę, że łatwiejszym sposobem myślenia jest: jeśli istnieje jakaś zmienna $C$ $(0<P(C)<1)$ such that the occurrence of $C$ increases the probability of both $A$ and $B$, then $A$ and $B$ cannot be independent. In your example, you actually chose variables that you intuitively understand to be dependent, not independent. That is, the event that there is an earthquake and a giant stomping around aren't independent, since they both are more likely to occur when the floor is shaking. Here is another example: Let C be the event that it rains, and A be the event that you use an umbrella, and B the event that you wear rainboots. Clearly A and B are not independent because when C occurs, you are more likely to both wear galoshes and carry and umbrella. But if you lived in an area that never, ever rained, then A and B could potentially be independent--neither the umbrella nor galoshes are being used as rain gear, so perhaps you wear the galoshes in the garden and use the umbrella to catch fish. They are only able to be independent because they don't share a cause.

Here is a proof: Suppose $A$ and $B$ are independent and also conditionally independent given $C$.

1. $P(AB) = P(A)P(B) = P(A|C)P(B|C)P(C)^2$ since $A$ is independent of $B$
2. $P(AB) = P(AB|C)P(C) = P(A|C)P(B|C)P(C)$ since $A$ is cond. independent of $B$ given $C$.

It follows from 1 and 2 that $P(C) = P(C)^2$ hence $P(C) = 0$ or $P(C) = 1$.