Intuicja stojąca za tym, dlaczego paradoks Stein'a dotyczy tylko wymiarów

Przykład Steina pokazuje, że oszacowanie maksymalnego prawdopodobieństwa $n$ zmiennych o rozkładzie normalnym ze średnimi $\mu_1,\ldots,\mu_n$ i wariancjami $1$ jest niedopuszczalne (pod funkcją straty kwadratowej) iff $n\ge 3$ . Aby uzyskać dobry dowód, zobacz pierwszy rozdział Wnioskowania na dużą skalę: empiryczne metody Bayesa do szacowania, testowania i przewidywania autorstwa Bradleya Effrona.

$x \sim \mathcal N(\mu,1)$$\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

Moje pytanie brzmi raczej: jakiej właściwości wymiarowej przestrzeni (dla ) brakuje co ułatwia przykład Steina? Możliwe odpowiedzi mogą dotyczyć krzywizny sfery lub czegoś zupełnie innego.n ≥ 3 R 2$n$$n\ge 3$$\mathbb{R}^2$$n$

Innymi słowy, dlaczego MLE jest dopuszczalny w ?$\mathbb{R}^2$

Edycja 1: W odpowiedzi na obawy @mpiktas o 1.31 wynikające z 1.30:

Edycja 2 : W tym artykule Stein udowadnia, że ​​MLE jest dopuszczalny dla $N=2$ .

Dychotomia między przypadkami i dla dopuszczalności MLE średniej wymiarowej wielowymiarowej normalnej zmiennej losowej jest z pewnością szokująca.d ≥ 3 $d < 3$$d \geq 3$$d$

Istnieje inny bardzo znany przykład prawdopodobieństwa i statystyki, w którym istnieje dychotomia między przypadkami i . Jest to ponowny prosty losowy spacer po kratce . To znaczy, prosty wymiarowy wymiarowy jest powtarzalny w 1 lub 2 wymiarach, ale jest przejściowy w wymiarach . Obowiązuje również analog czasu ciągłego (w postaci ruchu Browna).d ≥ 3 Z d d d ≥ $d < 3$$d \geq 3$$\mathbb{Z}^d$$d$$d \geq 3$

Okazuje się, że oba są ze sobą ściśle powiązane.

Larry Brown udowodnił, że dwa pytania są zasadniczo równoważne. Oznacza to, że najlepszy niezmienny estymator o wymiarową wielowymiarowej normalnym średnim wektora jest dopuszczalna wtedy i tylko wtedy, gdy wymiarową Browna jest okresowe.d$\hat{\mu} \equiv \hat{\mu}(X) = X$$d$$d$

W rzeczywistości jego wyniki idą znacznie dalej. Dla każdego sensownego (tj. Uogólnionego estymatora Bayesa) z ograniczonym (uogólnionym) ryzykiem , istnieje wyraźne (!) Odpowiadające wymiarowe rozproszenie, tak że estymator jest dopuszczalny wtedy i tylko wtedy, gdy odpowiadająca mu dyfuzja jest powtarzalna.L2d ˜ $\tilde{\mu} \equiv \tilde{\mu}(X)$$L_2$$d$$\tilde{\mu}$

Lokalny Średni tej dyfuzji jest zasadniczo taka rozbieżność między tymi dwoma estymatorów, czyli i kowariancja dyfuzji jest . Z tego łatwo zauważyć, że w przypadku MLE odzyskujemy (przeskalowaliśmy) ruch Browna.$\tilde{\mu} - \hat{\mu}$$2 I$$\tilde{\mu} = \hat{\mu} = X$

Tak więc, w pewnym sensie, możemy spojrzeć na kwestię dopuszczalności przez pryzmat procesów stochastycznych i użyć dobrze zbadanych właściwości dyfuzji, aby dojść do pożądanych wniosków.

Bibliografia

1. L. Brown (1971). Dopuszczalne estymatory, powtarzające się dyfuzje i nierozpuszczalne problemy z wartością graniczną . Ann. Matematyka Stat. , vol. 42, nr 3, s. 855–903.
2. RN Bhattacharya (1978). Kryteria ponownego wystąpienia i istnienia niezmiennych miar dla dyfuzji wielowymiarowych . Ann. Prob. , vol. 6, nr 4, 541–553.

@cardinal dał świetną odpowiedź (+1), ale cały problem pozostaje tajemniczy, chyba że znamy dowody (a ja nie). Myślę więc, że pozostaje pytanie, co jest intuicyjnym powodem, dla którego paradoks Stein'a nie pojawia się w i .$\mathbb R$$\mathbb R^2$

Bardzo pomocna jest dla mnie perspektywa regresji przedstawiona w Stephen Stigler, 1990, A Galtonian Perspective on Shrinkage Estimators . Rozważ niezależne pomiary , z których każdy mierzy pewne podstawowe (nieobserwowane) i pobiera próbki z . Gdybyśmy w jakiś sposób znali , moglibyśmy stworzyć wykres rozproszenia par :$X_i$$\theta_i$$\mathcal N(\theta_i, 1)$$\theta_i$$(X_i, \theta_i)$

Linia ukośna odpowiada zerowemu szumowi i doskonałemu oszacowaniu; w rzeczywistości hałas jest niezerowy, a zatem punkty są przesunięte względem linii ukośnej w kierunku poziomym . Odpowiednio, może być postrzegane jako linia regresji na . Znamy jednak i chcemy oszacować , więc powinniśmy raczej rozważyć linię regresji na - która będzie miała inne nachylenie, odchylone w poziomie , jak pokazano na rysunku (linia przerywana).$\theta = X$$\theta = X$$X$$\theta$$X$$\theta$$\theta$$X$

Cytując z pracy Stiglera:

Ta galtonowska perspektywa paradoksu Stein czyni z niej niemal przejrzystą. „Zwykłe” estymatory pochodzą od teoretycznej linii regresji on . Ta linia byłaby przydatna, gdyby naszym celem było przewidywanie z , ale nasz problem jest odwrotny, mianowicie przewidywanie z za pomocą sumy błędów kwadratowych jako kryterium. Dla tego kryterium optymalne estymatory liniowe są podane przez linię regresji najmniejszych kwadratów naXθXθθXĎ(θı - θ ı)2θ$\hat \theta_i^0 = X_i$$X$$\theta$$X$$\theta$$\theta$$X$$\sum (\theta_i - \hat \theta_i)^2$$\theta$$X$, a estymatory Jamesa-Steina i Efrona-Morrisa same są estymatorami tego optymalnego estymatora liniowego. „Zwykłe” estymatory pochodzą z niewłaściwej linii regresji, estymatory Jamesa-Steina i Efrona-Morrisa pochodzą z aproksymacji do właściwej linii regresji.

A teraz pojawia się kluczowy bit (wyróżnienie dodane):

Możemy nawet zobaczyć dlaczego jest konieczne: jeśli lub , najmniej linia kwadratów na musi przechodzić przez punkty , a tym samym dla lub , w dwie linie regresji ( na i na ) muszą się zgadzać na każdym .$k\ge 3$2 θ X ( X i , θ i ) k = 1 2 X θ θ X X $k=1$$2$$\theta$$X$$(X_i, \theta_i)$$k=1$$2$$X$$\theta$$\theta$$X$$X_i$

Myślę, że to wyjaśnia, co jest specjalnego w i .k = $k=1$$k=2$