Jest dobrze wiadomo, że jak masz więcej dowodów (powiedzmy w postaci większej dla IID przykładach), Bayesa przed dostaje „zapomniał”, a większość wnioskowania jest wpływ dowodów (lub prawdopodobieństwa).
Łatwo jest to zobaczyć w różnych konkretnych przypadkach (takich jak Bernoulli z wcześniejszą wersją Beta lub innymi typami przykładów) - ale istnieje sposób, aby zobaczyć to w ogólnym przypadku z i niektóre wcześniejsze ?
EDYCJA: Zgaduję, że nie można tego pokazać w ogólnym przypadku dla żadnego przeora (na przykład, przeor masy punktowej zachowałby tylną masę punktową). Ale być może istnieją pewne warunki, w których zapomina się o przeorze.
Oto rodzaj „ścieżki”, o której myślę, żeby pokazać coś takiego:
Załóżmy, że przestrzenią parametrów jest i niech i będą dwoma priorytetami, które umieszczają niezerową masę prawdopodobieństwa na wszystkich . Tak więc dwa późniejsze obliczenia dla każdej poprzedniej kwoty:
i
Jeśli podzielisz przez (boczne), otrzymasz:
Teraz chciałbym zbadać powyższy termin, ponieważ idzie do . Idealnie byłoby przejść do dla pewnej która "ma sens" lub innego miłego zachowania, ale nie mogę wymyślić, jak coś tam pokazać.
Odpowiedzi:
Prosta, ale miejmy nadzieję intuicyjna odpowiedź.
Spójrz na to z punktu widzenia przestrzeni logów: gdzie jest stałą zależną od danych, ale nie od parametru, i gdzie twoje prawdopodobieństwa zakładają obserwacje. Dlatego skoncentruj się tylko na części, która określa kształt tylnej części ciała, a mianowicie
Załóżmy, że istnieje takie, że . Jest to uzasadnione w przypadku dystrybucji dyskretnych.D > 0 -logP.( θ ) ≤ D
Ponieważ wszystkie warunki są pozytywne, „wzrośnie” (pomijam tutaj szczegóły techniczne). Ale wkład przeor jest ograniczony przez . W związku z tym ułamek wniesiony przez przeora, który wynosi najwyżej , zmniejsza się monotonicznie przy każdej dodatkowej obserwacji.S.n re D /S.n
Rygorystyczne dowody muszą oczywiście dotyczyć szczegółów technicznych (i mogą być bardzo trudne), ale powyższe ustawienie jest IMHO bardzo podstawową częścią.
źródło
Jestem nieco zdezorientowany tym, co mają oznaczać stwierdzenia, że „przeor jest zapomniany” i „większość dowodów jest pod wpływem dowodów”. Zakładam, że masz na myśli wzrost ilości danych, estymator (-y) zbliża się do prawdziwej wartości parametru niezależnie od naszego wcześniejszego.
Zakładając pewne warunki prawidłowości w postaci rozkładu tylnego, estymatory Bayesa są spójne i asymptotycznie bezstronne (patrz Gelman i in., Rozdział 4 ). Oznacza to, że wraz ze wzrostem wielkości próby estymator Bayesa zbliża się do prawdziwej wartości parametru. Spójność oznacza, że estymator Bayesa zbiega się w prawdopodobieństwie z prawdziwą wartością parametru, a asymptotyczna bezstronność oznacza, że przy założeniu, że jest prawdziwą wartością parametru,θ0
Zbieżność nie zależy od konkretnej formy uprzedniej, ale tylko od tego, że rozkład tylny uzyskany z wcześniejszego i prawdopodobieństwo spełniają warunki prawidłowości.
Najważniejszym warunkiem prawidłowości wymienionym w Gelman i wsp. Jest to, że prawdopodobieństwo jest ciągłą funkcją parametru, a prawdziwa wartość parametru znajduje się we wnętrzu przestrzeni parametrów. Ponadto, jak zauważyłeś, tylny musi być niezerowy w otwartym sąsiedztwie prawdziwej wartości prawdziwej wartości parametru. Zwykle twój priorytet powinien być niezerowy w całej przestrzeni parametrów.
źródło