Czy Bayesianie akceptują aksjomaty Kołmogorowa?

24

Zazwyczaj teorii prawdopodobieństwa uczy się z aksjomatami Kolgomorova. Czy Bayesianie akceptują również aksjomaty Kołmogorowa?

Odręcznie
źródło
8
Teoria bayesowska wynika ze standardowych aksjomatów prawdopodobieństwa, stąd też z aksjomatów Kołmogorowa.
Xi'an
3
@ Xi'an: Subiektywne stopnie przekonania mogą być reprezentowane przez prawdopodobieństwo nie jest tak oczywiste - stąd pytanie i praca Ramseya i de Finetti.
Scortchi - Przywróć Monikę
2
Właśnie dlatego jestem „obiektywnym” Bayesianem i zaczynam od wcześniejszych rozkładów określonych zgodnie ze standardami teorii prawdopodobieństwa ...
Xi'an
2
Uważam, że interpretacja prawdopodobieństwa Coxa-Jaynesa stanowi rygorystyczną podstawę prawdopodobieństwa Bayesa. (patrz moja odpowiedź). Byłoby jednak miło mieć opinię Xi'ana na ten temat.
Szczyt
1
@Summit: dziękuję, ale obawiam się, że nie jestem bardzo zainteresowany tym problemem ...!
Xi'an

Odpowiedzi:

25

Moim zdaniem interpretacja prawdopodobieństwa Coxa-Jaynesa stanowi rygorystyczną podstawę prawdopodobieństwa Bayesa:

  • Cox, Richard T. „Prawdopodobieństwo, częstotliwość i rozsądne oczekiwania”. American Journal of Physics 14.1 (1946): 1-13.
  • Jaynes, Edwin T. Teoria prawdopodobieństwa: logika nauki. Prasa uniwersytecka Cambridge, 2003.
  • Beck, James L. „Identyfikacja systemu bayesowskiego na podstawie logiki prawdopodobieństwa”. Kontrola strukturalna i monitorowanie zdrowia 17.7 (2010): 825–847.

Aksjomaty logiki prawdopodobieństwa wyprowadzone przez Coxa to:

  1. Pr[b|a]0
  2. (P2): (funkcja negacji)Pr[b¯|a]=1Pr[b|a]
  3. (P3): (funkcja koniunkcji)Pr[bc|a]=Pr[c|ba]Pr[b|a]

Aksjomaty P1-P3 sugerują, co następuje (Beck, James L. „Identyfikacja systemu bayesowskiego na podstawie logiki prawdopodobieństwa.” Kontrola strukturalna i monitorowanie stanu zdrowia 17.7 (2010): 825-847):

  1. (P4): a) ; b) ; c)Pr[b|bc]=1Pr [ b | c ] [ 0 , 1 ]Pr[b¯|bc]=0Pr[b|c][0,1]
  2. (P5): a) , b) , gdzie oznacza, że jest zawarte w , a oznacza, że jest równoważne .Pr [ a | c ( a b ) ] = Pr [ b | c ( a b ) ] a b a c a b a bPr[a|c(ab)]Pr[b|c(ab)]Pr[a|c(ab)]=Pr[b|c(ab)]abacabab
  3. (P6):Pr[ab|c]=Pr[a|c]+Pr[b|c]Pr[ab|c]
  4. (P7): Zakładając, że twierdzenie stwierdza, że ​​jedno i tylko jedno zdanie jest prawdziwe, to: b 1 , , b Ncb1,,bN
    • a) Twierdzenie o marginalizacji:Pr[a|c]=n=1NP[abn|c]
    • b) Twierdzenie o całkowitym prawdopodobieństwie:Pr[a|c]=n=1NPr[a|bnc]Pr[bn|c]
    • c) Twierdzenie Bayesa: Dla :Pr [ b k | a c ] = Pr [ a | b kc ] Pr [ b k | c ]k=1,,NPr[bk|ac]=Pr[a|bkc]Pr[bk|c]n=1NPr[a|bnc]Pr[bn|c]

Wskazują na logikę Kołmogorowa, która może być postrzegana jako szczególny przypadek.

W mojej interpretacji bayesowskiego punktu widzenia wszystko zawsze (domyślnie) zależy od naszych przekonań i naszej wiedzy.

Poniższe porównanie zaczerpnięto z Becka (2010): identyfikacja systemu bayesowskiego na podstawie logiki prawdopodobieństwa

Bayesowski punkt widzenia

Prawdopodobieństwo jest miarą prawdopodobieństwa stwierdzenia opartego na określonych informacjach.

  1. Rozkłady prawdopodobieństwa reprezentują stany wiarygodnej wiedzy o układach i zjawiskach, a nie ich nieodłączne właściwości.
  2. Prawdopodobieństwo modelu jest miarą jego prawdopodobieństwa względem innych modeli w zestawie.
  3. Pragmatycznie określa niepewność z powodu brakujących informacji bez twierdzenia, że ​​wynika to z naturalnej losowości natury.

Punkt widzenia Frequentist

Prawdopodobieństwo to względna częstotliwość występowania z natury losowego zdarzenia w długim okresie .

  1. Rozkłady prawdopodobieństwa są nieodłącznymi właściwościami zjawisk losowych.
  2. Ograniczony zakres, np. Brak znaczenia dla prawdopodobieństwa modelu.
  3. Zakłada się nieodłączną losowość , ale nie można jej udowodnić.

Jak uzyskać aksjomaty Kołmogorowa z powyższych aksjomatów

Poniżej sekcja 2.2 [Beck, James L. "Identyfikacja systemu bayesowskiego na podstawie logiki prawdopodobieństwa." Kontrola strukturalna i monitorowanie stanu zdrowia 17.7 (2010): 825-847.] Podsumowano:

W poniższym przykładzie wykorzystujemy: miarę prawdopodobieństwa na podzbiorze A zbioru skończonego X :Pr(A)AX

  1. [K1]:Pr(A)0,AX
  2. [K2]:Pr(X)=1
  3. [K3]: jeśli A i B są rozłączne.Pr(AB)=Pr(A)+Pr(B),A,BXAB

Aby wyprowadzić (K1-K3) z aksjomatów teorii prawdopodobieństwa, [Beck, 2010] wprowadził propositon który stwierdza x X i określa model prawdopodobieństwa dla x . [Beck, 2010] ponadto wprowadza Pr ( A ) = Pr [ x A | π ] .πxXxPr(A)=Pr[xA|π]

  • P1 oznacza K1, i c = πb={xA}c=π
  • K2 wynika z ; P4 (a) i gatunku stwierdza, że x X .Pr[xX|π]=1πxX
  • K3 można wyprowadzić z P6: i B są rozłączne, co oznacza, że x A i x B wykluczają się wzajemnie. Dlatego K3: Pr ( x A B | π ) = Pr ( x A | π ) + Pr ( x B | π )ABxAxB Pr(xAB|π)=Pr(xA|π)+Pr(xB|π)
Szczyt
źródło
5
Z K3 możesz dostać się do (skończona addytywność), ale nie do trzeciego aksjomatu Kołmogorowa, Pr ( i = 1 A i ) = i = 1 Pr ( A i ) (addytywność policzalna), gdy A są elementami σPr(i=1nAi)=i=1nPr(Ai)Pr(i=1Ai)=i=1Pr(Ai)Aσ-field, a nie tylko podzbiory zbioru skończonego.
Scortchi - Przywróć Monikę
2
@Scortchi KRKoch we wstępie do statystyki bayesowskiej cytuje Bernardo i Smitha (1994), Bayesian Theory, s. 105, jako źródło pokazujące, jak rozwiązać policzalną nieskończoność. Nie sprawdziłem tego, ale równie dobrze można go tutaj podać.
gwr
12

Po opracowaniu teorii prawdopodobieństwa konieczne było wykazanie, że luźniejsze koncepcje odpowiadające nazwie „prawdopodobieństwo” mierzyły się z rygorystycznie zdefiniowaną przez nich koncepcją. „Subiektywne” prawdopodobieństwa Bayesa zostały wzięte pod uwagę przez Ramseya i de Finetti, którzy niezależnie wykazali, że kwantyfikacja stopnia przekonania podlega ograniczeniom porównywalności i spójności (twoje przekonania są spójne, jeśli nikt nie jest w stanie stworzyć holenderskiej książki przeciwko tobie) być prawdopodobieństwem.

Różnice między aksjatyzacjami są w dużej mierze kwestią gustu w kwestii tego, co powinno być tym, co zdefiniowane, a co pochodną. Ale policzalna addytywność jest jedną z Kołmogorowa, która nie jest pochodną Coxa ani Finettiego, i była kontrowersyjna. Niektórzy Bayesianie (np. De Finetti i Savage) zatrzymują się na skończonej addytywności, więc nie akceptują wszystkich aksjomatów Kołmogorowa. Mogą umieszczać jednolite rozkłady prawdopodobieństwa w nieskończonych przedziałach bez niewłaściwości. Inni podążają za Villegasem, zakładając także ciągłość monotonną i uzyskując z tego policzalną addytywność.

Ramsey (1926), „Prawda i prawdopodobieństwo”, w Ramsey (1931), Podstawy matematyki i inne eseje logiczne

de Finetti (1931), „Sul znaczącoato soggettivo della probabilità”, Fundamenta Mathematicæ , 17 , s. 298–329

Villegas (1964), „O prawdopodobieństwie jakościowym -algebras”, Ann. Matematyka Statystyk. , 35 , 4.σ

Scortchi - Przywróć Monikę
źródło
3
Dlaczego moja odpowiedź powinna dotyczyć tylko „obiektywnych prawdopodobieństw bayesowskich”? Przełomowe dzieło Coxa (1946) wyraźnie odnosi się do kwestii podmiotowości! Jest to bardzo interesujący i łatwy do odczytania artykuł. Nie sądzę, aby rozróżnianie prawdopodobieństwa Bayesa „subiektywnego” i „obiektywnego” miało sens: wszystko jest zawsze domyślnie uwarunkowane dla osoby przeprowadzającej analizę -> iw tym kontekście „subiektywne”.
Szczyt
odnośnie wyprowadzenia aksjomatów stwierdzonych przez Kołmogorowa z Coxa: jestem zadowolony ze sposobu, w jaki zostało to zrobione w sekcji 2.2 Beck, James L. „Identyfikacja systemu bayesowskiego na podstawie logiki prawdopodobieństwa”. Kontrola strukturalna i monitorowanie zdrowia 17.7 (2010): 825–847.
Szczyt
1
@Summit: (1) Masz rację; raczej raczej dyspozycyjne podejście Ramsey & de Finetti do prawdopodobieństwa umieszcza je wprost w „subiektywnym” obozie, podczas gdy pogląd Coxa jest bardziej ogólny. (2) Czy mówisz, że adekwatną addytywność można wywnioskować z postulatów Coxa?
Scortchi - Przywróć Monikę
Rozszerzyłem swoją odpowiedź i czekam na wasze komentarze.
Szczyt
1
@Summit: Dzięki - mam nadzieję, że znajdę czas, aby uczynić mój nawet w połowie tak dokładnym. Zwróciłem uwagę na lukę między miejscem, do którego można dojść z twierdzenia Coxa a „pełnymi” aksjomatami Kołmogorowa, i uważam, że jest to szczególnie istotne dla pytania (choć o tym całkowicie zapomniałem, kiedy pierwszy raz odpowiedziałem). Jaynes miał kilka ciekawych rzeczy do powiedzenia na temat tej BTW.
Scortchi - Przywróć Monikę