Czy w modelach normalnym i dwumianowym zawsze wariancja tylna jest mniejsza niż wariancja poprzednia?

10

Lub jakie warunki to gwarantują? Zasadniczo (i nie tylko modele normalne i dwumianowe) przypuszczam, że głównym powodem złamania tego twierdzenia jest niespójność między modelem próbkowania a wcześniejszym, ale co jeszcze? Zaczynam od tego tematu, więc naprawdę doceniam proste przykłady

Czerwony hałas
źródło

Odpowiedzi:

9

Ponieważ tylne i wcześniejsze warianty na spełniają (z oznaczającym próbkę) zakładając, że istnieją wszystkie wielkości, można oczekiwać, że tylna wariancja będzie średnio mniejsza (w ). Jest to w szczególności w przypadku, gdy tylna wariancja jest stała w . Ale, jak pokazuje druga odpowiedź, mogą istnieć realizacje wariancji tylnej, które są większe, ponieważ wynik jest tylko oczekiwany.θX

var(θ)=E[var(θ|X)]+var(E[θ|X])
XX

Aby zacytować Andrew Gelman,

Rozważamy to w rozdziale 2 w analizie danych bayesowskich , myślę, że w kilku problemach z pracą domową. Krótka odpowiedź jest taka, że ​​w oczekiwaniu wariancja tylna zmniejsza się, gdy otrzymujesz więcej informacji, ale w zależności od modelu, w szczególnych przypadkach wariancja może wzrosnąć. W przypadku niektórych modeli, takich jak normalna i dwumianowa, tylna wariancja może się jedynie zmniejszyć. Ale rozważ model t o niskich stopniach swobody (który można interpretować jako mieszaninę normalnych ze wspólną średnią i różnymi wariancjami). jeśli zaobserwujesz ekstremalną wartość, jest to dowód, że wariancja jest wysoka i rzeczywiście twoja tylna wariancja może wzrosnąć.

Xi'an
źródło
@Xian, czy mógłbyś rzucić okiem na moją „odpowiedź”, która wydaje się zaprzeczać twojej? Jeśli Gelman i ty mówisz coś o statystykach bayesowskich, jestem bardziej skłonny zaufać tobie niż sobie ...
Christoph Hanck
1
Brak konfliktu między naszymi odpowiedziami. Istnieje nawet ćwiczenie w BDA, które odpowiada twojemu przykładowi, tj. Znajdź dane, które ustawiają wariancję a posteriori Beta na większą niż poprzednia.
Xi'an
Ciekawym pytaniem uzupełniającym byłoby: jakie są warunki, które gwarantują zbieżność wariancji do 0 wraz ze wzrostem wielkości próby.
Julien
8

To będzie bardziej pytanie do Xi'ana niż odpowiedź.

Chciałem odpowiedzieć, że a wariancja późniejsza przy liczbie prób, liczbie sukcesów i współczynniki wcześniejszej wersji beta, przekraczającej wcześniejszą wariancję jest również możliwy w modelu dwumianowym na podstawie poniższego przykładu, w którym prawdopodobieństwo i wcześniejsze są w jaskrawym kontraście, tak że tylny jest „zbyt daleko pomiędzy”. Wydaje się, że jest to sprzeczne z cytatem Gelmana.

V(θ|y)=α1β1(α1+β1)2(α1+β1+1)=(α0+k)(nk+β0)(α0+n+β0)2(α0+n+β0+1),
nkα0,β0
V(θ)=α0β0(α0+β0)2(α0+β0+1)
n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Dlatego przykład ten sugeruje większą wariancję boczną w modelu dwumianowym.

Oczywiście nie jest to oczekiwana tylna wariancja. Czy to właśnie tam leży rozbieżność?

Odpowiednia liczba to

wprowadź opis zdjęcia tutaj

Christoph Hanck
źródło
4
Idealna ilustracja. I nie ma rozbieżności między faktami, że zrealizowana tylna wariancja jest większa niż wcześniejsza wariancja i że oczekiwania są mniejsze.
Xi'an
1
Podałem link do tej odpowiedzi jako doskonały przykład tego, co było tutaj omawiane. Ten wynik (ta wariancja czasami wzrasta, gdy gromadzone są dane) rozciąga się na entropię.
Don Slowik