Czy dla REML istnieje interpretacja bayesowska?

Czy dostępna jest bayesowska interpretacja REML? Według mojej intuicji, REML ma silne podobieństwo do tak zwanych empirycznych procedur estymacji Bayesa i zastanawiam się, czy wykazano jakąś asymptotyczną równoważność (powiedzmy, w ramach odpowiedniej klasy priorytetów). Zarówno empiryczne Bayesa, jak i REML wydają się na przykład „kompromitowanym” podejściem estymacyjnym podejmowanym na przykład w obliczu uciążliwych parametrów .

Głównie to, czego szukam w tym pytaniu, to wgląd na wysokim szczeblu, który tego rodzaju argumenty zwykle dają. Oczywiście, jeżeli z jakiegoś powodu nie można z powodzeniem zastosować argumentu tego rodzaju dla REML, wyjaśnienie, dlaczego tak jest, również zapewni pożądany wgląd!

Interpretacje bayesowskie istnieją tylko w ramach analizy bayesowskiej, dla estymatorów związanych z rozkładem a posteriori. Stąd jedynym sposobem, aby estymatorowi REML można było nadać interpretację bayesowską (tj. Interpretację jako estymator wzięty z tyłu), to jeśli weźmiemy pod uwagę ograniczone prawdopodobieństwo logarytmiczne w analizie REML jako logarytmicznie tylną w odpowiednim Analiza Bayesa; w tym przypadku estymator REML byłby estymatorem MAP z teorii bayesowskiej, z odpowiadającą mu interpretacją bayesowską.

---

$\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$$\ell_{\text{RE}}(\theta)$$\theta$$\nu$$\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

To daje nam:

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

Ten wynik pozwala nam interpretować estymator REML jako estymator MAP, więc poprawną interpretacją bayesowską estymatora REML jest to, że jest to estymator, który maksymalizuje gęstość a posteriori zgodnie z powyższym uprzednim .

Po zilustrowaniu metody nadania estymatorowi REML interpretacji bayesowskiej zauważamy, że z tym podejściem wiążą się duże problemy. Jednym z problemów jest to, że uprzednia formacja jest tworzona przy użyciu komponentu wiarygodności dziennika , który zależy od danych. Dlatego „uprzedni” niezbędny do uzyskania tej interpretacji nie jest prawdziwym uprzednim, w sensie bycia funkcją, którą można utworzyć przed obejrzeniem danych. Innym problemem jest to, że przejęcie często jest niewłaściwe (tzn. Nie integruje się z jednym) i może faktycznie wzrosnąć, ponieważ wartości parametrów stają się ekstremalne. (Poniżej pokażemy przykład tego.)$\ell_*(\theta, \nu)$

Na podstawie tych problemów można argumentować, że estymator REML nie ma rozsądnej interpretacji bayesowskiej . Alternatywnie można argumentować, że estymator REML nadal utrzymuje powyższą interpretację bayesowską, będąc maksymalnie estymatorem a posteriori pod „uprzednim”, który musi przypadkowo zrównać się z obserwowanymi danymi w określonej formie i może być wyjątkowo niewłaściwy.

---

Ilustracja z normalnymi danymi: Klasyczny przykład oszacowania REML dotyczy przypadku normalnych danych gdzie interesuje Cię precyzja a średnia jest uciążliwym parametrem. W tym przypadku masz funkcję log-prawdopodobieństwo:$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$$\theta$$\nu$

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

W REML podzieliliśmy to prawdopodobieństwo dziennika na dwa składniki:

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

Otrzymujemy estymator REML dla parametru dokładności, maksymalizując resztkowe prawdopodobieństwo, co daje obiektywny estymator dla wariancji:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

W takim przypadku estymator REML będzie odpowiadał estymatorowi MAP dla „wcześniejszej” gęstości:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

Jak widać, to „wcześniejsze” tak naprawdę zależy od obserwowanych wartości danych, więc nie można go właściwie uformować przed obejrzeniem danych. Co więcej, widzimy, że jest to wyraźnie „niewłaściwa” wcześniejsza zasada, która kładzie coraz większy nacisk na ekstremalne wartości i . (W rzeczywistości ten przeor jest dość szalony.) Jeśli przez „zbieg okoliczności” utworzysz przeora, który okazał się odpowiadać temu wynikowi, to estymator REML byłby estymatorem MAP pod tym przełożeniem, a zatem miałby interpretację bayesowską jako estymator, który maksymalizuje tylną pod tym uprzednim.$\theta$$\nu$