Jaki jest bayesowski odpowiednik ogólnego testu dopasowania?

Mam dwa zestawy danych, jeden z zestawu obserwacji fizycznych (temperatur), a drugi z zestawu modeli numerycznych. Robię analizę idealnego modelu, zakładając, że zespół modeli reprezentuje prawdziwą, niezależną próbkę i sprawdzam, czy obserwacje pochodzą z tego rozkładu. Statystyka, którą obliczyłem, jest znormalizowana i teoretycznie powinna być standardowym rozkładem normalnym. Oczywiście nie jest idealny, więc chcę przetestować pod kątem dopasowania.

Używając rozumowania częstokrzyskiego, mógłbym obliczyć statystykę Craméra-von Misesa (lub Kołmogorowa-Smirnowa itp.) Lub podobną, i wyszukać wartość w tabeli, aby uzyskać wartość p, aby pomóc mi zdecydować, jak mało prawdopodobna jest wartość I patrz, biorąc pod uwagę, że obserwacje są takie same jak w modelu.

Jaki byłby bayesowski odpowiednik tego procesu? To znaczy, jak mam oszacować siłę mojego przekonania, że ​​te dwa rozkłady (moja obliczona statystyka i standardowa normalna) są różne?

Zasugerowałbym książkę Analiza danych bayesowskich jako świetne źródło odpowiedzi na to pytanie (w szczególności rozdział 6) i wszystko, co zamierzam powiedzieć. Ale jednym ze zwykłych sposobów atakowania tego problemu przez Bayesianów jest użycie posterior Predictive P-values ​​(PPP). Zanim przejdę do sposobu rozwiązania tego problemu przez PPP, pozwól mi najpierw zdefiniować następującą notację:

Niech będą obserwowanymi danymi, a wektorem parametrów. Definiujemy jak replikowane dane, które mogły były obserwowane, albo myśleć wyprzedzająco, jako dane nam będzie zobaczyć jutro, jeśli eksperyment, który produkowany dzisiaj były replikowane z tego samego modelu i to samo wartość która zaobserwowane dane.θ y rep y $y$$\theta$$y^{\text{rep}}$$y$$\theta$

Zauważ, że zdefiniujemy rozkład biorąc pod uwagę obecny stan wiedzy z późniejszym rozkładem predykcyjnym p ( y rep | y ) = ∫ Θ p ( y rep | θ ) p ( θ | y ) d $y^{\text{rep}}$

$$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$$

Teraz możemy zmierzyć rozbieżność między modelem a danymi, definiując ilości testowe , aspekty danych, które chcemy sprawdzić. Wielkość testowa lub miara rozbieżności , , to skalarne podsumowanie parametrów i danych, które jest używane jako standard przy porównywaniu danych z symulacjami predykcyjnymi. Ilości testowe odgrywają rolę w modelu Bayesa, sprawdzając, czy statystyki testowe odgrywają w testach klasycznych. Definiujemy zapis dla statystyki testowej, która jest wielkością testową, która zależy tylko od danych; w kontekście bayesowskim możemy uogólnić statystyki testowe, aby umożliwić zależność od parametrów modelu w ich tylnym rozkładzie.T ( y $T(y,\theta)$$T(y)$

Klasycznie wartość p dla statystyki testowej wynosi gdzie przyjmuje się prawdopodobieństwo nad rozkładem z naprawionym.p C = Pr ( T ( y rep ) ≥ T ( y ) | θ ) y rep$T(y)$

$$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$$ $y^{\text{rep}}$$\theta$

Z perspektywy bayesowskiej brak dopasowania danych w odniesieniu do tylnego rozkładu predykcyjnego można zmierzyć za pomocą prawdopodobieństwa obszaru ogona lub wartości p wielkości testowej i obliczyć za pomocą symulacji bocznych . W podejściu bayesowskim wielkości testowe mogą być funkcjami nieznanych parametrów, a także danych, ponieważ wielkość testowa jest oceniana na podstawie losowań z rozkładu tylnego nieznanych parametrów.$(\theta,y^{\text{rep}})$

Teraz możemy zdefiniować bayesowską wartość p (PPP) jako prawdopodobieństwo, że zreplikowane dane mogą być bardziej ekstremalne niż dane obserwowane, mierzone wielkością testową: gdzie prawdopodobieństwo jest przejmowane przez rozkład tylny i tylny rozkład predykcyjny (że to wspólna dystrybucja, ): gdzie jest funkcją wskaźnika. W praktyce jednak zwykle obliczamy rozkład predykcyjny boczny za pomocą symulacji.

$$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$$ $\theta$$y^{\text{rep}}$$p(\theta,y^{\text{rep}}|y)$ $$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$$ $I$

Jeśli mamy już, powiedzmy, symulacje z tylnego rozkładu , możemy po prostu narysować jeden z rozkładu predykcyjnego dla każdego symulowanego ; mamy teraz losowania ze wspólnego rozkładu tylnego, . Tylna kontrola predykcyjna to porównanie zrealizowanych wielkości testowych i predykcyjnych wielkości testowych . Oszacowana wartość p jest tylko proporcją tych symulacji dla których wielkość testowa jest równa lub przekracza wartość zrealizowaną; to znaczy dla któregoθ y rep θ L p ( y rep , θ | y ) T ( y , θ l ) T ( y rep l , θ l ) L T ( y rep l , θ l ) ≥ T ( y , θ l ) l = 1 , . . . , $L$$\theta$$y^{\text{rep}}$$\theta$$L$$p(y^{\text{rep}},\theta|y)$$T(y,\theta^l)$$T(y^{\text{rep}l},\theta^l)$$L$

$$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$$ do . $l=1,...,L$

W przeciwieństwie do klasycznego podejścia, sprawdzanie modelu Bayesa nie wymaga specjalnych metod do obsługi „uciążliwych parametrów”. Korzystając z symulacji bocznych, domyślnie uśredniamy wszystkie parametry w modelu.

Dodatkowe źródło, Andrew Gelman, ma również bardzo fajny artykuł na temat PPP tutaj: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

Jedna stosunkowo prosta możliwość: płynne testy dobroci dopasowania, np. [1] - które stanowią alternatywę pod względem gładkich odchyleń od wartości zerowej, zbudowane przez wielomiany ortogonalne (w odniesieniu do gęstości zerowej jako funkcji ciężaru) byłyby stosunkowo proste do przenoszą się do szkieletu Bayesa, ponieważ współczynniki wielomianów tworzą elastyczne, ale parametryczne rozszerzenie wartości zerowej.

[1]: Rayner, JCW i DJ Best (1990),
„Smooth Tests of Goodness of Fit: An Overview”,
International Statistics Review , 58 : 1 (kwi), s. 9-17