Ujednolicony pogląd na kurczenie się: jaka jest relacja (jeśli występuje) między paradoksem Steina, regresją grzbietu i efektami losowymi w modelach mieszanych?

Rozważ następujące trzy zjawiska.

1. Paradoks Steina: biorąc pod uwagę niektóre dane z wielowymiarowego rozkładu normalnego w $\mathbb R^n, \: n\ge 3$ , średnia próbki nie jest bardzo dobrym estymatorem prawdziwej średniej. Można uzyskać oszacowanie z niższym średnim błędem do kwadratu, jeśli zmniejsza się wszystkie współrzędne średniej próbki w kierunku zera [lub w kierunku ich średniej, lub faktycznie w kierunku dowolnej wartości, jeśli dobrze rozumiem].

   Uwaga: zwykle paradoksem Stein formułuje poprzez rozpatrywanie tylko jednego punktu danych z $\mathbb R^n$ ; proszę mnie poprawić, jeśli jest to kluczowe, a moje sformułowanie powyżej jest nieprawidłowe.

2. Regresja grzbietowa: biorąc pod uwagę pewną zmienną zależną $\mathbf y$ i niektóre zmienne niezależne $\mathbf X$ , regresja standardowa $\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$ ma tendencję do przekraczania danych i prowadzi do słabej wydajności poza próbą. Często można ograniczyć nadmierne dopasowanie zmniejszając $\beta$ do zera: $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$ .

3. Efekty losowe w modelach wielopoziomowych / mieszanych: biorąc pod uwagę pewną zmienną zależną $y$ (np. Wzrost ucznia), która zależy od niektórych predyktorów jakościowych (np. Identyfikator szkoły i płeć ucznia), często zaleca się traktowanie niektórych predyktorów jako „losowych”, tj. Przypuszczenie, że średni wzrost ucznia w każdej szkole pochodzi z pewnego rozkładu normalnego. Powoduje to zmniejszenie szacunków średniej wysokości na szkołę do średniej globalnej.

Mam wrażenie, że wszystko to jest różnymi aspektami tego samego zjawiska „kurczenia się”, ale nie jestem pewien i na pewno brakuje mi dobrej intuicji. Więc moje główne pytanie brzmi: czy rzeczywiście istnieje głębokie podobieństwo między tymi trzema rzeczami, czy jest to tylko pozór pozorny? Jaki jest tutaj wspólny motyw? Jaka jest właściwa intuicja?

Ponadto, oto kilka elementów tej układanki, które tak naprawdę nie pasują do mnie:

• W regresji grzbietowej nie zmniejsza się równomiernie; skurcz grzbietu jest faktycznie związany z rozkładem wartości X w liczbie pojedynczej , przy czym kierunki o niskiej wariancji są bardziej zmniejszane (patrz np . Elementy uczenia statystycznego 3.4.1). Ale estymator Jamesa-Steina po prostu bierze średnią próbki i mnoży ją przez jeden współczynnik skalowania. Jak to do siebie pasuje?$\beta$$\mathbf X$

  Aktualizacja: patrz Estymator Jamesa-Steina z nierównymi wariancjami i np. Tutaj odnośnie wariancji współczynników .$\beta$

• Średnia próbki jest optymalna w wymiarach poniżej 3. Czy oznacza to, że gdy w modelu regresji występuje tylko jeden lub dwa predyktory, regresja grzbietu zawsze będzie gorsza niż zwykłe najmniejsze kwadraty? Właściwie, pomyśl o tym, nie wyobrażam sobie sytuacji w 1D (tj. Prostej regresji bez wielokrotności), w której skurcz kalenicy byłby korzystny ...

  Aktualizacja: Nie. Patrz dokładnie, w jakich warunkach regresja kalenicy jest w stanie zapewnić poprawę w stosunku do zwykłej regresji metodą najmniejszych kwadratów?

• Z drugiej strony średnia próbki jest zawsze nieoptymalna w wymiarach powyżej 3. Czy to oznacza, że ​​przy więcej niż 3 predyktorach regresja grzbietu jest zawsze lepsza niż OLS, nawet jeśli wszystkie predyktory są nieskorelowane (ortogonalne)? Zwykle regresja kalenicy jest motywowana wielokoliniowością i potrzebą „stabilizacji” terminu .$(\mathbf X^\top \mathbf X)^{-1}$

  Aktualizacja: Tak! Zobacz ten sam wątek jak powyżej.

• Często toczy się gorąca dyskusja na temat tego, czy różne czynniki ANOVA powinny być uwzględniane jako efekty stałe czy losowe. Czy nie powinniśmy, zgodnie z tą samą logiką, traktować czynnik losowo, jeśli ma więcej niż dwa poziomy (lub jeśli istnieją więcej niż dwa czynniki? Teraz jestem zdezorientowany)?

  Aktualizacja :?

---

Aktualizacja: otrzymałem kilka doskonałych odpowiedzi, ale żadna z nich nie zapewnia wystarczająco dużego obrazu, więc pozwolę, by pytanie „się otworzyło”. Mogę obiecać, że przyznam nagrodę w wysokości co najmniej 100 punktów za nową odpowiedź, która przewyższy istniejące. Głównie szukam ujednoliconego poglądu, który mógłby wyjaśnić, w jaki sposób ogólne zjawisko skurczu przejawia się w tych różnych kontekstach i wskazać podstawowe różnice między nimi.

Związek między estymatorem Jamesa-Steina a regresją kalenicową

Niech być wektorem obserwacji o długości , , estymator James-Stein, Jeśli chodzi o regresję grzbietu, możemy oszacować za pomocą gdzie rozwiązaniem jest Łatwo zauważyć, że dwa estymatory są w tej samej formie, ale musimy to oszacować$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$σ 2$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ w estymatorze Jamesa-Steina i określ w regresji grzbietu za pomocą walidacji krzyżowej.$\lambda$

Związek między estymatorem Jamesa-Steina a modelami efektów losowych

Najpierw omówmy modele efektów mieszanych / losowych w genetyce. Model to Jeśli nie ma ustalonych efektów i , model staje się co odpowiada ustawieniu estymatora Jamesa-Steina, z pewnymi Pomysł bayesowski.Z = I y = θ + e , θ ∼ N ( 0 , σ 2 θ I ) , e ∼ N ( 0 ,

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Związek między modelami efektów losowych a regresją grzbietu

Jeśli skupimy się na powyższych modelach efektów losowych, Szacowanie jest równoważne z rozwiązaniem problemu kiedy . Dowód można znaleźć w rozdziale 3 Rozpoznawanie wzorców i uczenie maszynowe .min θ ‖ y - Z θ ‖ 2 + λ ‖ θ ‖ 2 λ = σ 2 / σ 2

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Związek między (wielopoziomowymi) modelami efektów losowych a genetyką

W powyższym modelu efektów losowych wymiar wynosi a wymiar to . Jeśli wektoryzujemy jako i powtórzymy odpowiednio, wówczas mamy strukturę hierarchiczną / klastrową, klastrów i każdą z jednostek. Jeśli regresujemy na powtarzanym , wówczas możemy uzyskać losowy wpływ na dla każdego klastra, chociaż jest to coś w rodzaju regresji odwrotnej. m × 1 , Z m × p Z ( m p ) × 1 , y p m v e c ( Z ) y Z $\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Potwierdzenie : pierwsze trzy punkty zostały w dużej mierze wyciągnięte z tych dwóch chińskich artykułów, 1 , 2 .

Zostawię to jako ćwiczenie dla społeczności, aby dopełnić tę odpowiedź, ale ogólnie powodem, dla którego estymatory skurczu będą * dominować * obiektywne estymatory w skończonych próbkach, jest to, że estymatory Bayesa nie mogą być zdominowane , i wiele estymatorów skurczu można wyprowadzić jako Bayesa. 2 3 $^1$$^2$$^3$$^4$

Wszystko to należy do teorii teorii decyzji. Wyczerpującym, ale raczej nieprzyjaznym odniesieniem jest „Teoria szacowania punktów” Lehmanna i Caselli. Może inni mogą wejść z bardziej przyjaznymi referencjami?

---

$^1$ Estymator parametru na danych jest zdominowany przez inny estymator jeśli dla każdego ryzyko (np. Średni błąd kwadratowy) z jest równy lub większy niż , a bije dla co najmniej jednego . Innymi słowy, uzyskasz taką samą lub lepszą wydajność dla wszędzie w obszarze parametrów.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

θ π δ ( X ) = E ( θ | X ) Ω π θ 0 = { 1 jeśli  θ = θ 0 0 θ ≠ θ 0 θ 0 δ ( X ) = θ 0 θ 0 θ $^2$ Estymatorem jest Bayes (i tak pod utratą błędu kwadratu), jeśli jest to późniejsze oczekiwanie , biorąc pod uwagę dane, pod pewnym wcześniejszym , np. , gdzie oczekiwanie jest podejmowane z tyłu. Oczywiście różne priorytety prowadzą do różnych zagrożeń dla różnych podgrup . Ważnym przykładem zabawka jest przed , która stawia wszystkie wcześniejsze masa wokół punktu . Następnie możesz pokazać, że estymator Bayesa jest funkcją stałą$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, która oczywiście ma wyjątkowo dobrą wydajność w pobliżu i bardzo wydajność w innych miejscach. Niemniej jednak nie można go zdominować, ponieważ tylko ten estymator prowadzi do zerowego ryzyka na poziomie .$\theta_0$$\theta_0$

$^3$ Naturalnym pytaniem jest, czy jakiś estymator, który nie może być zdominowany (nazywany dopuszczalnym , choć czy niezłomny nie byłby snazzerem?) Musiałby być Bayes? Odpowiedź jest prawie. Zobacz „pełne twierdzenia klasowe”.

1 / λ 2 β σ $^4$ Na przykład regresja grzbietu powstaje jako procedura bayesowska po umieszczeniu Normalnego (0, ) przed , a modele efektów losowych powstają jako empiryczna procedura bayesowska w podobnych ramach . Argumenty te komplikuje fakt, że waniliowa wersja Bayesowskich twierdzeń o dopuszczalności zakłada, że ​​każdy parametr ma na sobie odpowiedni wcześniejszy parametr. Nawet w regresji grzbietowej nie jest to prawdą, ponieważ „wcześniejsze” jest umieszczane na wariancji$1/\lambda^2$$\beta$$\sigma^2$terminu błędu jest funkcją stałą (miara Lebesgue'a), która nie jest właściwym (całkowitym) rozkładem prawdopodobieństwa. Niemniej jednak można wykazać, że wiele takich „częściowo” estymatorów Bayesa jest dopuszczalnych poprzez wykazanie, że są one „granicą” sekwencji estymatorów, które są odpowiednimi bayesowskimi. Ale dowody tutaj stają się raczej skomplikowane i delikatne. Zobacz „uogólnione estymatory Bayesa”.

• James-Stein zakłada, że ​​wymiar odpowiedzi wynosi co najmniej 3. W standardowej regresji grzbietowej odpowiedź jest jednowymiarowa. Mylisz liczbę predyktorów z wymiarem odpowiedzi.

• Biorąc to pod uwagę, widzę podobieństwo między tymi sytuacjami, ale co dokładnie zrobić, np. Czy czynnik powinien być stały czy losowy, ile skurczu, jeśli w ogóle, zależy od konkretnego zestawu danych. Np. Im bardziej ortogonalne są predyktory, tym mniej sensowne jest wybranie regresji Ridge'a niż regresji standardowej. Im większa liczba parametrów, tym bardziej sensowne jest wyodrębnienie wcześniejszego zbioru danych z samego zestawu danych empirycznych Bayesa, a następnie wykorzystanie go do zmniejszenia oszacowań parametrów. Im wyższy stosunek sygnału do szumu, tym mniejsze korzyści skurczu itp.

Jak powiedzieli inni, związek między tymi trzema polega na tym, jak uwzględnić wcześniejsze informacje w pomiarze.

1. W przypadku paradoksu Stein wiesz, że prawdziwa korelacja między zmiennymi wejściowymi powinna wynosić zero (i wszystkie możliwe miary korelacji, ponieważ chcesz sugerować niezależność, a nie tylko nieskorelację), dlatego możesz skonstruować zmienną lepiej niż zwykłą próbkuj średnią i pomiń różne miary korelacji. W ramach bayesowskiej można zbudować przeor, który dosłownie obniża zdarzenia, które prowadzą do korelacji między średnimi próbkami, a podwyższa pozostałe.
2. W przypadku regresji grzbietu należy znaleźć dobre oszacowanie dla wartości warunkowego oczekiwania E (y | x). Zasadniczo jest to problem nieskończenie wymiarowy i źle zdefiniowany, ponieważ mamy tylko skończoną liczbę pomiarów. Jednak wcześniejsza wiedza jest taka, że ​​szukamy funkcji Continuos, która modeluje dane. Jest to nadal źle zdefiniowane, ponieważ wciąż istnieje nieskończenie wiele sposobów modelowania funkcji ciągłych, ale zestaw jest nieco mniejszy. Regresja grzbietu jest tylko jednym prostym sposobem na posortowanie możliwych funkcji ciągłych, przetestowanie ich i zatrzymanie się na końcowym stopniu swobody. Interpretacja jest obrazem wymiaru VC: podczas regresji kalenicy sprawdza się, czy model af (x, p1, p2 ...) z danym stopniem swobody opisuje niepewność związaną z danymi. Praktycznie mierzy, jak dobrze może f (x, p1, p2 ... ), a empiryczna P (p1, p2 ...) może zrekonstruować pełny rozkład P (y | x), a nie tylko E (y | x). W ten sposób obciąża się modele o zbyt dużym stopniu swobody (które zwykle się pokrywają), ponieważ większa średnia parametru po pewnym stopniu swobody da większe korelacje między parametrami, aw konsekwencji znacznie szersze P (f (x, p1, p2). ..)) dystrybucje. Inną interpretacją jest to, że pierwotna funkcja straty jest również wartością miary, a ocena na danej próbce jest niepewna, więc prawdziwym zadaniem nie jest minimalizowanie funkcji straty, ale znalezienie minimum, które jest znacznie niższe niż wartość inne (praktycznie zmiana jednego stopnia swobody na inny jest decyzją bayesowską, więc zmienia się liczbę parametrów tylko wtedy, gdy dają one znaczący spadek funkcji straty). Regresję grzbietu można interpretować jako przybliżenie tych dwóch zdjęć (wymiar CV, oczekiwana strata). W niektórych przypadkach chcesz preferować wyższe stopnie swobody, na przykład w fizyce cząstek badasz kolizję cząstek, w której oczekujesz, że wyprodukowana liczba cząstek będzie rozkładem Poissona, więc rekonstruujesz ścieżkę cząstek na podstawie obrazu (na przykład zdjęcia ) w sposób preferujący określoną liczbę ścieżek i tłumi modele, które mają mniejszą lub wyższą interpretację obrazu ścieżki.
3. Trzeci przypadek stara się również wprowadzić do pomiaru wcześniejszą informację, a mianowicie, że z poprzednich pomiarów wiadomo, że wysokość uczniów może być bardzo dobrze modelowana na przykład przez rozkłady Gaussa, a nie przez Cauchy'ego.

Krótko mówiąc, odpowiedź jest taka, że ​​możesz zmniejszyć niepewność pomiaru, jeśli wiesz, czego się spodziewać, i skategoryzować dane według niektórych wcześniejszych danych (wcześniejsze informacje). Te poprzednie dane ograniczają twoją funkcję modelowania, której używasz do dopasowania pomiarów. W prostych przypadkach możesz zapisać swój model w ramach Bayesa, ale czasami jest to niepraktyczne, jak na przykład zintegrowanie wszystkich możliwych funkcji continuos w celu znalezienia tej, która ma wartość Bayesian Maximal A posterior.

Estymator Jamesa Steina i regresja Ridge'a

Rozważać

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

Z $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Najmniejsze rozwiązanie kwadratowe ma formę

S=X'$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ , gdzie .$\mathbf S= \mathbf X'\mathbf X$

betaĎ2S-$\hat \beta$ jest bezstronny dla i ma macierz kowariancji . Dlatego możemy pisać$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ Zauważ, że są szacunkami największego prawdopodobieństwa, MLE.$\hat \beta$

James Stein

Dla uproszczenia dla Jame Stein zakładamy . James i Stein dodadzą następnie opcję na formularzu$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

I dostanie a posterior w postaci , oni następnie oszacuje pomocą i otrzyma estymator Jamesa Steina$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ .

Regresja Ridge

W regresji grzbietowej jest zwykle standaryzowany (średnia 0, vairance 1 dla każdej kolumny ), dzięki czemu parametry regresji są porównywalne. Gdy jest to dla .$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

Szacunki regresji grzbiet jest definiowany jako, , być$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ zauważ, że to MLE.$\hat \beta$

Jak powstał ?? Odwołanie$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ i jeśli dodamy przedtem Bayesian

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Potem dostaniemy

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

To samo co oszacowanie regresji grzbietu . Tak więc podana tutaj oryginalna forma Jamesa Stein'a przyjmuje i .S=I=σ$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$