Co to jest „nieinformacyjny przeor”? Czy możemy kiedykolwiek mieć taki bez żadnych informacji?

Inspirowany komentarzem do tego pytania :

Co uważamy za „nieinformacyjne” z góry - i jakie informacje są nadal zawarte w rzekomo pozbawionym informacji przeorze?

Zasadniczo widzę przeora w analizie, w której jest to analiza typu częstokrzyskiego, która próbuje pożyczyć kilka fajnych części z analizy bayesowskiej (czy może to być łatwiejsza interpretacja aż do „tego, co jest najgorętsze do zrobienia”), określony uprzedni to równomierne rozłożenie całej granicach środka efekt, skupionych na 0. Ale nawet, że twierdzi się kształt do poprzedniego - to właśnie dzieje się płaski.

Czy przed użyciem jest lepsza informacja?

[Ostrzeżenie: jako członek karty Obiektywnej Sekcji Bayesa ISBA , moje poglądy nie są reprezentatywne dla wszystkich statystów bayesowskich !, wręcz przeciwnie ...]

Podsumowując, nie ma czegoś takiego jak przeor z „naprawdę bez informacji”.

Rzeczywiście, „nieinformacyjny” przeor jest niestety mylący. Każda wcześniejsza dystrybucja zawiera pewne specyfikacje podobne do pewnej ilości informacji. Nawet (a zwłaszcza) mundur przed. Rzeczywiście, jednolity przeor jest płaski tylko dla jednej parametryzacji problemu. Jeśli jedna zmienia się na inną parametryzację (nawet ograniczoną), jakobiańska zmiana zmiennej pojawia się w obrazie i gęstości, a wcześniejsze nie jest już płaskie.

Jak zauważył Elvis, maksymalna entropia jest jednym podejściem zalecanym do wyboru tak zwanych „nieinformacyjnych” priorów. Wymaga to jednak (a) wystarczających informacji o niektórych momentach wcześniejszej dystrybucji aby określić ograniczenia które prowadzą do MaxEnt przed i (b) wstępny wybór miary odniesienia [w ustawieniach ciągłych], wybór, który przywraca debatę do jej początkowego etapu! (Ponadto parametryzacja wiązań (tj. Wybór$h(\theta)$$\pi(\cdot)$

$$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$$ $$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$$ $\text{d}\mu(\theta)$$h$) wpływa na kształt wynikowego MaxEnt wcześniej.)

José Bernardo opracował oryginalną teorię referencji, w której wybiera przeora, aby zmaksymalizować informacje dostarczone przez dane, maksymalizując odległość Kullbacka między wcześniejszym a późniejszym. W najprostszych przypadkach bez uciążliwych parametrów rozwiązaniem jest wcześniej Jeffreys. W przypadku bardziej skomplikowanych problemów (a) należy dokonać wyboru parametrów zainteresowania (lub nawet rankingu ich kolejności); (b) obliczenie wcześniejszego jest dość zaangażowane i wymaga sekwencji osadzonych zestawów kompaktowych, aby uniknąć problemów z niewłaściwością. (Szczegółowe informacje można znaleźć np. W The Bayesian Choice .)

Co ciekawe, niektórzy badacze spoza perspektywy bayesowskiej opracowali procedury zwane rozkładami ufności, które są rozkładami prawdopodobieństwa w przestrzeni parametrów, skonstruowanymi przez odwrócenie procedur opartych na częstotliwości bez wyraźnej wcześniejszej struktury lub nawet dominującej miary w tej przestrzeni parametrów. Twierdzą, że ten brak dobrze zdefiniowanego wcześniejszego jest plusem, chociaż wynik zdecydowanie zależy od wyboru procedury inicjalizacji opartej na częstotliwości

Krótko mówiąc, nie ma „najlepszego” (ani nawet „lepszego”) wyboru dla „wcześniejszego” „nieinformacyjnego” przeora. I uważam, że tak właśnie powinno być, ponieważ sama natura analizy bayesowskiej implikuje, że wybór wcześniejszego podziału ma znaczenie. I że nie ma porównania priorytetów: jeden nie może być „lepszy” od drugiego. (Przynajmniej przed obserwacją danych: po ich zaobserwowaniu porównanie priorów staje się wyborem modelu.) Wniosek José Bernardo, Jima Bergera, Dongchu Sun i wielu innych „obiektywnych” Bayesianów jest taki, że istnieją mniej więcej równorzędne referencje priory używaj, gdy nie masz pewności co do wcześniejszych informacji lub poszukujesz wzorcowego wnioskowania bayesowskiego, a niektóre z tych priorytetów są częściowo poparte argumentami teorii informacji,

Atrakcyjną właściwością formalnych nieinformacyjnych priorów jest „właściwość dopasowywania częstych”: oznacza to, że późniejszy przedział ufności 95% jest również (przynajmniej w przybliżeniu) przedziałem ufności 95% w sensie częstości. Ta właściwość odnosi się do wcześniejszego odniesienia Bernarda, chociaż fundusze tych nieinformacyjnych priorów nie są zorientowane na osiągnięcie dobrej własności pasjonującej częstokroć, jeśli użyjesz „naiwnego” („płaskiego”) nieinformacyjnego przeora, takiego jak jednolity rozkład lub gaussowski dystrybucja z ogromną wariancją, nie ma gwarancji, że właściwość pasująca do częstych będzie istniała. Być może referencyjny przeor Bernarda nie mógł być uważany za „najlepszy” wybór nieinformacyjnego przeora, ale może być uważany za najbardziej udany.

Rozkłady Jeffreysa również cierpią z powodu niespójności: priorytety Jeffreysa dla zmiennej over lub over są niewłaściwe, co nie ma miejsca w przypadku Jeffreysa przed parametrem prawdopodobieństwa : miara ma masę ponad .$(-\infty,\infty)$$(0,\infty)$$p$$\text{d}p/\sqrt{p(1-p)}$$\pi$$(0,1)$

Renyi wykazał, że rozkład nieinformacyjny musi być powiązany z niewłaściwą całką. Zobacz zamiast tego dystrybucje Lhoste, które unikają tej trudności i są niezmienne przy zmianach zmiennych (np. Dla miarą jest ).$p$$\text{d}p/p(1-p)$

---

Po pierwsze, tłumaczenie jest dobre!

W przypadku E. LHOSTE: „Obliczanie prawdopodobieństwa zastosowania w artylerii”, Revue d'artillerie, tom 91, maj 1923

Dla A. RENYI: „O nowej aksjomatycznej teorii prawdopodobieństwa” Acta Mathematica, Académie des Sciences hongroises, tom VI, fasc.3-4, 1955

Mogę dodać: M. DUMAS: „Lois de probabilité a priori de Lhoste”, Sciences et technik de l'armement, 56, 4ème fascicule, 1982, s. 687-715

Zgadzam się z doskonałą odpowiedzią Xi'ana , wskazując, że nie ma żadnego przeora, który byłby „nieinformacyjny” w sensie niesienia żadnej informacji. Aby rozwinąć ten temat, chciałem zwrócić uwagę, że jedną alternatywą jest przeprowadzenie analizy bayesowskiej w nieprecyzyjnych ramach prawdopodobieństwa (patrz zwłaszcza Walley 1991 , Walley 2000 ). W tych ramach wcześniejsze przekonanie jest reprezentowane przez zestaw rozkładów prawdopodobieństwa, a to prowadzi do odpowiedniego zestawu rozkładów bocznych. Może się to wydawać mało pomocne, ale w rzeczywistości jest całkiem niesamowite. Nawet przy bardzo szerokim zestawie wcześniejszych rozkładów (gdzie pewne momenty mogą obejmować wszystkie możliwe wartości), często nadal uzyskuje się konwergencję z tyłu do pojedynczej tylnej jako .$n \rightarrow \infty$

Ta analityczna struktura została aksjatyzowana przez Walleya jako własną specjalną formę analizy probabilistycznej, ale zasadniczo jest równoważna z solidną analizą bayesowską z wykorzystaniem zestawu priorów, dając odpowiedni zestaw elementów bocznych. W wielu modelach możliwe jest ustawienie „nieinformacyjnego” zestawu priorytetów, który pozwala niektórym momentom (np. Wcześniejszej średniej) zmieniać się w całym możliwym zakresie wartości, a mimo to daje cenne wyniki późniejsze, w których momenty tylne są ograniczone ściślej. Ta forma analizy ma zapewne lepszą pretensję do bycia nazywaną „nieinformacyjną”, przynajmniej w odniesieniu do momentów, które mogą zmieniać się w całym dopuszczalnym zakresie.

---

Prosty przykład - model Bernoulliego: Załóżmy, że obserwujemy dane gdzie to nieznany interesujący parametr. Zwykle używamy gęstości beta jako przeora (zarówno przeor Jeffreya, jak i przeorat referencyjny mają tę formę). Możemy określić tę formę wcześniejszej gęstości w kategoriach wcześniejszej średniej i innego parametru jako:$X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$$\theta$$\mu$$\kappa > 1$

$$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$$

(Ta forma podaje wcześniejsze momenty i .) Teraz, w nieprecyzyjnym modelu moglibyśmy ustaw przed składać się z zestawu wszystkich wcześniejszych rozkładów dla wszystkich możliwych oczekiwanych wartości , ale z drugim parametrem ustalonym, aby kontrolować dokładność w zakresie średnich wartości. Na przykład możemy użyć zestawu priorytetów:$\mathbb{E}(\theta) = \mu$$\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

$$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$$

Załóżmy, że obserwujemy dodatnie wskaźniki w danych. Następnie, stosując regułę aktualizacji dla modelu Bernoulli-beta, odpowiedni zestaw tylny to:$s = \sum_{i=1}^n x_i$

$$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$$

Zakres możliwych wartości dla tylnego oczekiwania wynosi:

$$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$$

Ważne jest tutaj to, że chociaż rozpoczęliśmy od modelu, który był „nieinformacyjny” w odniesieniu do oczekiwanej wartości parametru (wcześniejsze przewidywania obejmowały wszystkie możliwe wartości), to jednak kończymy na późniejszych wnioskach, które są pouczające w odniesieniu do do późniejszych oczekiwań parametru (teraz mieszczą się w węższym zestawie wartości). Ponieważ ten zakres wartości jest ściśnięty do jednego punktu, który jest prawdziwą wartością .$n \rightarrow \infty$$\theta$