Czy w modelach normalnym i dwumianowym zawsze wariancja tylna jest mniejsza niż wariancja poprzednia?
10
Lub jakie warunki to gwarantują? Zasadniczo (i nie tylko modele normalne i dwumianowe) przypuszczam, że głównym powodem złamania tego twierdzenia jest niespójność między modelem próbkowania a wcześniejszym, ale co jeszcze? Zaczynam od tego tematu, więc naprawdę doceniam proste przykłady
Ponieważ tylne i wcześniejsze warianty na spełniają (z oznaczającym próbkę)
zakładając, że istnieją wszystkie wielkości, można oczekiwać, że tylna wariancja będzie średnio mniejsza (w ). Jest to w szczególności w przypadku, gdy tylna wariancja jest stała w . Ale, jak pokazuje druga odpowiedź, mogą istnieć realizacje wariancji tylnej, które są większe, ponieważ wynik jest tylko oczekiwany.θX
var(θ)=E[var(θ|X)]+var(E[θ|X])
XX
Aby zacytować Andrew Gelman,
Rozważamy to w rozdziale 2 w analizie danych bayesowskich , myślę, że w kilku problemach z pracą domową. Krótka odpowiedź jest taka, że w oczekiwaniu wariancja tylna zmniejsza się, gdy otrzymujesz więcej informacji, ale w zależności od modelu, w szczególnych przypadkach wariancja może wzrosnąć. W przypadku niektórych modeli, takich jak normalna i dwumianowa, tylna wariancja może się jedynie zmniejszyć. Ale rozważ model t o niskich stopniach swobody (który można interpretować jako mieszaninę normalnych ze wspólną średnią i różnymi wariancjami). jeśli zaobserwujesz ekstremalną wartość, jest to dowód, że wariancja jest wysoka i rzeczywiście twoja tylna wariancja może wzrosnąć.
@Xian, czy mógłbyś rzucić okiem na moją „odpowiedź”, która wydaje się zaprzeczać twojej? Jeśli Gelman i ty mówisz coś o statystykach bayesowskich, jestem bardziej skłonny zaufać tobie niż sobie ...
Christoph Hanck
1
Brak konfliktu między naszymi odpowiedziami. Istnieje nawet ćwiczenie w BDA, które odpowiada twojemu przykładowi, tj. Znajdź dane, które ustawiają wariancję a posteriori Beta na większą niż poprzednia.
Xi'an
Ciekawym pytaniem uzupełniającym byłoby: jakie są warunki, które gwarantują zbieżność wariancji do 0 wraz ze wzrostem wielkości próby.
Julien
8
To będzie bardziej pytanie do Xi'ana niż odpowiedź.
Chciałem odpowiedzieć, że a wariancja późniejsza
przy liczbie prób, liczbie sukcesów i współczynniki wcześniejszej wersji beta, przekraczającej wcześniejszą wariancję
jest również możliwy w modelu dwumianowym na podstawie poniższego przykładu, w którym prawdopodobieństwo i wcześniejsze są w jaskrawym kontraście, tak że tylny jest „zbyt daleko pomiędzy”. Wydaje się, że jest to sprzeczne z cytatem Gelmana.
Idealna ilustracja. I nie ma rozbieżności między faktami, że zrealizowana tylna wariancja jest większa niż wcześniejsza wariancja i że oczekiwania są mniejsze.
Xi'an
1
Podałem link do tej odpowiedzi jako doskonały przykład tego, co było tutaj omawiane. Ten wynik (ta wariancja czasami wzrasta, gdy gromadzone są dane) rozciąga się na entropię.
To będzie bardziej pytanie do Xi'ana niż odpowiedź.
Chciałem odpowiedzieć, że a wariancja późniejsza przy liczbie prób, liczbie sukcesów i współczynniki wcześniejszej wersji beta, przekraczającej wcześniejszą wariancję jest również możliwy w modelu dwumianowym na podstawie poniższego przykładu, w którym prawdopodobieństwo i wcześniejsze są w jaskrawym kontraście, tak że tylny jest „zbyt daleko pomiędzy”. Wydaje się, że jest to sprzeczne z cytatem Gelmana.
Dlatego przykład ten sugeruje większą wariancję boczną w modelu dwumianowym.
Oczywiście nie jest to oczekiwana tylna wariancja. Czy to właśnie tam leży rozbieżność?
Odpowiednia liczba to
źródło