W jaki sposób niewłaściwe uprzednie postępowanie może prowadzić do prawidłowej dystrybucji tylnej?

Wiemy, że w przypadku właściwej wcześniejszej dystrybucji

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Zwykle uzasadnieniem tego kroku jest to, że rozkład krańcowy , jest stały w odniesieniu do a zatem można go zignorować przy wyprowadzaniu rozkładu tylnego.P ( X ) $X$$P(X)$$\theta$

Jednak w przypadku niewłaściwego przeora, skąd wiesz, że rozkład tylny rzeczywiście istnieje? Wydaje się, że czegoś brakuje w tym pozornie okrągłym argumencie. Innymi słowy, jeśli założę, że istnieje a posterior, rozumiem mechanikę tego, jak wyprowadzić a posteriora, ale wydaje mi się, że brakuje mi teoretycznego uzasadnienia, dlaczego w ogóle istnieje.

PS Zdaję sobie również sprawę z tego, że zdarzają się przypadki, w których niewłaściwa uprzednia prowadzi do niewłaściwej tylnej.

Zasadniczo akceptujemy osoby z niewłaściwych priorów $\pi(\theta)$ jeśli istnieje i jest prawidłowym rozkładem prawdopodobieństwa (tzn. integruje się dokładnie do 1 ponad podporą). Zasadniczo sprowadza się to doπ(X)=∫π(X∣θ)π(θ

Powiedziałem teraz, że akceptujemy „późniejsze” dystrybucje od niewłaściwych priorów, biorąc pod uwagę powyższe. Powodem, dla którego są akceptowane, jest to, że wcześniejsze nadal da nam względne „wyniki” w przestrzeni parametrów; tzn. stosunek π ( θ 1$\pi(\theta)$ nadaje sens naszej analizie. Znaczenie, które otrzymujemy od niewłaściwych priorów, w niektórych przypadkach może nie być dostępne w odpowiednich priory. Jest to potencjalne uzasadnienie ich użycia. Zobacz odpowiedź Sergio, aby dokładniej zbadać praktyczną motywację do niewłaściwych priorytetów.$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Warto zauważyć, że ta ilość ma również pożądane właściwości teoretyczne, Degroot i Schervish :$\pi(\theta \mid X)$

Nieprawidłowe priory nie są prawdziwymi rozkładami prawdopodobieństwa, ale jeśli będziemy udawać, że są, obliczymy rozkłady tylne, które przybliżą tylne ściany, które uzyskalibyśmy, stosując właściwe sprzężone priory z ekstremalnymi wartościami wcześniejszych hiperparametrów.

Istnieje odpowiedź „teoretyczna” i „pragmatyczna”.

Z teoretycznego punktu widzenia, gdy przeor jest niewłaściwy, a posterior nie istnieje (no cóż, spójrz na odpowiedź Mateusza, aby uzyskać bardziej rozsądną wypowiedź), ale może być przybliżony przez formę ograniczającą.

Jeśli dane obejmują warunkowo tę samą próbkę z rozkładu Bernoulliego o parametrze , a θ ma rozkład beta o parametrach α i β , rozkład tylny θ jest rozkładem beta o parametrach α + s , β + n - s ( n obserwacje, s sukcesy), a jego średnia jest ( α + y ) / ( α + β + n $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$. Jeśli zastosujemy niewłaściwy (i nierzeczywisty) rozkład beta przed poprzednimi hipeparametrami i udajemy, że π ( θ ) ∝ θ - 1 ( 1 - θ ) - 1 , otrzymujemy odpowiednią tylną proporcjonalność do θ s - 1 ( 1 - θ ) n - s - 1 , tj. Pdf rozkładu beta z parametrami s oraz n - $\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$z wyjątkiem stałego czynnika. Jest to forma graniczna tylnej części przed beta z parametrami i β → 0 (Degroot i Schervish, przykład 7.3.13).$\alpha\to 0$$\beta\to 0$

W normalnym modelu ze średnią , znaną wariancją σ 2 i N ( μ 0 , τ 2 0 ) wcześniejszym rozkładem dla θ , jeżeli poprzednia precyzja 1 / τ 2 0 jest niewielka w stosunku do precyzji danych, n / σ 2 , a następnie rozkład tylny jest w przybliżeniu tak, jakby τ 2 0 = ∞ : p ( θ ∣ x ) ≈ N ( θ ∣ $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$ tj. rozkład tylny jest w przybliżeniu taki, który wynikałby z założenia, żep(θ)jest proporcjonalne do stałej dlaθ∈(-∞,∞), rozkładu, który nie jest ściśle możliwy, ale postać ograniczająca z tyłu, gdyzbliża sięτ 2 0 ∞(Gelman i in., s. 52).

Z „pragmatycznego” punktu widzenia gdy p ( x ∣ θ ) = 0 cokolwiek p ( θ ) , więc jeśli p ( x ∣ θ ) ≠ 0 in ( a , b ) , a następnie ∫ ∞ - ∞ p ( x ∣ θ ) p ( $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$ . Niewłaściwe priorytety mogą być wykorzystane do reprezentowanialokalnegozachowania wcześniejszej dystrybucji w regionie, w którym prawdopodobieństwo jest znaczące, powiedzmy ( a , b ) . Zakładając, że w wystarczającym przybliżeniu, wcześniejsze następuje formy takie jak f ( x ) = k , x ∈ ( - ∞ , ∞ ) lub$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$ tylko powyżej ( a , b ) , że odpowiednio obniża się do zera poza tym zakresem, upewniamy się, że rzeczywiście użyte priory są prawidłowe (Box i Tiao, s. 21 ). Więc jeśli wcześniejszy rozkład θ wynosi U ( - ∞ , ∞ ), ale ( a , b ) jest ograniczony, to tak, jakby θ ∼ U ( a $f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$$\theta$$\mathcal{U}(-\infty,\infty)$$(a,b)$ , tj. p ( x ∣ θ ) p ( θ ) = p ( x ∣ θ ) k ∝ p ( x ∣ θ ) . Na konkretny przykład dzieje się tak w przypadkuStana: jeśli dla parametru nie określono wcześniejszego parametru, domyślnie otrzymuje on jednolity przedtem jego podparcie i jest to traktowane jako pomnożenie prawdopodobieństwa przez stałą.$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

Jednak w przypadku niewłaściwego przeora, skąd wiesz, że rozkład tylny rzeczywiście istnieje?

Tył może też nie być właściwy. Jeśli przeor jest niewłaściwy, a prawdopodobieństwo jest płaskie (ponieważ nie ma znaczących obserwacji), to a posterior jest równe przeorowi i jest również niewłaściwe.

Zwykle masz pewne spostrzeżenia i zwykle prawdopodobieństwo nie jest płaskie, więc tylna jest właściwa.