Wnioskowanie statystyczne przy błędnym określeniu

Klasyczne podejście wnioskowania statystycznego opiera się na założeniu, że istnieje poprawnie określona statystyka. Oznacza to, że rozkład $\mathbb{P}^*(Y)$ który wygenerował zaobserwowane dane $y$ jest częścią modelu statystycznego : $\mathcal{M}$

Co dzieje się z estymatorami zestawu zaufania? Podsumujmy estymatory zestawów ufności. Niech będzie estymatorem zestawu, gdzie jest przestrzenią próbki, a mocą ustawioną na przestrzeni parametrów \ Theta . Chcielibyśmy wiedzieć, że istnieje prawdopodobieństwo, że zestawy wygenerowane przez \ delta zawierają prawdziwy rozkład \ mathbb {P} ^ * , czyli \ mathbb {P} ^ * (\ mathbb {P} ^ * \ in \ {P_ \ theta: \ theta \ in \ delta (Y) \}): = A.$\delta:\Omega_Y \rightarrow 2^\Theta$$\Omega_Y$$2^\Theta$$\Theta$$\delta$$\mathbb{P}^*$

Jednak oczywiście nie znamy prawdziwej dystrybucji . Prawidłowo określone założenie mówi nam, że . Jednak nadal nie wiemy, która to dystrybucja modelu. Jednak jest dolną granicą dla prawdopodobieństwa . Równanie jest klasyczną definicją poziomu ufności dla estymatora zbioru ufności.$\mathbb{P}^*$$\mathbb{P}^* \in \mathcal{M}$

Jeśli odrzucimy poprawnie określone założenie, niekoniecznie jest już dolną granicą dla , czyli terminu, którym tak naprawdę jesteśmy zainteresowani. Rzeczywiście, jeśli założymy, że model jest źle określony, co prawdopodobnie ma miejsce w najbardziej realistycznych sytuacjach, wynosi 0, ponieważ prawdziwy rozkład nie jest zawarty w modelu statystycznym .$B$$A$$A$$P^*$$\mathcal{M}$

Z innej perspektywy można pomyśleć o tym, do czego odnosi się gdy model jest źle określony. To bardziej szczegółowe pytanie. Czy nadal ma znaczenie, jeśli model jest źle określony. Jeśli nie, dlaczego w ogóle zawracamy sobie głowę statystykami parametrycznymi?$B$$B$

Wydaje mi się, że White 1982 zawiera pewne wyniki w tych kwestiach. Niestety mój brak wiedzy matematycznej utrudnia mi zrozumienie wielu tam napisanych tekstów.

Niech $y_1, \ldots, y_n$ będą danymi obserwowanymi, co do których zakłada się, że jest realizacją sekwencji iid zmiennych losowych $Y_1, \ldots, Y_n$ ze wspólną funkcją gęstości prawdopodobieństwa $p_e$ zdefiniowaną w odniesieniu do miary sigma-skończonej $\nu$ . Gęstość $p_e$ nazywa się gęstością procesu generowania danych (DGP).

W modelu prawdopodobieństwa badacza ${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$ to zbiór funkcji gęstości prawdopodobieństwa, które są indeksowane przez wektor parametrów $\theta$ . Załóżmy, że każda gęstość w ${\cal M}$ jest określona w odniesieniu do wspólnej miary sigma-skończonej $\nu$ (np. Każda gęstość może być funkcją masy prawdopodobieństwa z tą samą przestrzenią próbki $S$ ).

Ważne jest, aby zachować gęstość $p_e$ która faktycznie wygenerowała dane, koncepcyjnie odrębna od modelu prawdopodobieństwa danych. W klasycznych metodach statystycznych staranne oddzielenie tych pojęć jest ignorowane, a nie dokonywane lub od samego początku zakłada się, że model prawdopodobieństwa jest poprawnie określony.

Prawidłowo określony model ${\cal M}$ w odniesieniu do $p_e$ jest zdefiniowany jako model, w którym $p_e \in {\cal M}$ $\nu$ - prawie wszędzie. Gdy ${\cal M}$ jest źle określone w odniesieniu do $p_e$ odpowiada to przypadkowi, w którym model prawdopodobieństwa nie jest poprawnie określony.

Jeśli model prawdopodobieństwo jest prawidłowo ustawiona, to istnieje $\theta^*$ w przestrzeń parametru $\Theta$ tak, że $p_e(y) = p(y ; \theta^*)$ $\nu$ -almost wszędzie. Taki wektor parametrów nazywany jest „prawdziwym wektorem parametrów”. Jeśli model prawdopodobieństwa jest błędnie określony, prawdziwy wektor parametrów nie istnieje.

Model być błąd w obrębie ram White'a celem jest znalezienie oszacowanie parametru θ n który minimalizuje £ -l n ( θ ) ≡ ( 1 / n ) Ď n i = 1 log p ( y ja ; θ ) nad pewnym zwartej przestrzeni parametrów Θ . Zakłada się, że wyjątkowy surowe światowe Minimizer, θ * , oczekiwanej wartości £ -l n na Θ znajduje się we wnętrzu Θ$\hat{\theta}_n$$\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$$\Theta$$\theta^*$$\hat{\ell}_n$$\Theta$$\Theta$. W szczęśliwym przypadku, gdy model prawdopodobieństwa jest poprawnie określony, $\theta^*$ może być interpretowane jako „prawdziwa wartość parametru”.

W szczególnym przypadku, w którym model jest prawdopodobieństwo prawidłowo określony, θ n jest znane oszacowanie maksymalnej wiarygodności. Jeśli nie wiemy, mają absolutną wiedzę, że model prawdopodobieństwo jest poprawnie określona, wtedy θ n nazywana jest oszacowanie prawdopodobieństwa quasi-maksymalny, a celem jest oszacowanie θ * . Jeśli nam się poszczęści i model prawdopodobieństwa zostanie poprawnie określony, wówczas quasi-maksymalne oszacowanie prawdopodobieństwa zmniejsza się jako szczególny przypadek do znanego oszacowania maksymalnego prawdopodobieństwa i θ ∗ staje się prawdziwą wartością parametru.$\hat{\theta}_n$$\hat{\theta}_n$$\theta^*$$\theta^*$

Spójność w ramach White'a (1982) odpowiada zbieżności z $\theta^*$ bez wymagania, że $\theta^*$ jest koniecznie prawdziwym wektorem parametrów. W ramach White'a nigdy nie oszacowalibyśmy prawdopodobieństwa zdarzenia, że ​​zbiory wytworzone przez δ zawierają rozkład PRAWDA P *. Zamiast tego zawsze szacowalibyśmy rozkład prawdopodobieństwa P **, który jest prawdopodobieństwem zdarzenia, że ​​zbiory wytworzone przez δ zawierają rozkład określony przez gęstość $p(y ; \theta^*)$ .

Na koniec kilka komentarzy na temat błędnej specyfikacji modelu. Łatwo jest znaleźć przykłady, w których źle określony model jest niezwykle przydatny i bardzo przewidywalny. Rozważmy na przykład model regresji nieliniowej (a nawet liniowej) z terminem błędu resztkowego Gaussa, którego wariancja jest wyjątkowo mała, ale rzeczywisty błąd resztkowy w środowisku nie jest gaussowski.

Łatwo jest również znaleźć przykłady, w których poprawnie określony model nie jest użyteczny i nieprzewidywalny. Weźmy na przykład model losowego przejścia do przewidywania cen akcji, który przewiduje, że jutrzejsza cena zamknięcia jest ważoną sumą dzisiejszych cen zamknięcia i pewnego szumu gaussowskiego z bardzo dużą wariancją.

Celem ramowej specyfikacji błędów modelu nie jest zapewnienie ważności modelu, ale raczej zapewnienie niezawodności. Oznacza to, że błąd próbkowania związany z oszacowaniami parametrów, przedziałami ufności, testami hipotez i tak dalej jest poprawnie oszacowany, pomimo obecności małej lub dużej ilości błędnej specyfikacji modelu. Quasi-maksymalne oszacowania prawdopodobieństwa są asymptotycznie normalne wyśrodkowane na $\theta^*$ za pomocą estymatora macierzy kowariancji, który zależy zarówno od pierwszej, jak i drugiej pochodnej funkcji logarytmu ujemnego-prawdopodobieństwa. W szczególnym przypadku, gdy masz szczęście i model jest poprawny, wszystkie formuły redukują się do znanego klasycznego schematu statystycznego, w którym celem jest oszacowanie „prawdziwych” wartości parametrów.

Po pierwsze, powiem, że to naprawdę fascynujące pytanie; podziękowania dla Juliana za opublikowanie go. Moim zdaniem podstawowym problemem, jaki napotykasz w tego rodzaju analizach, jest to, że każde wnioskowanie dowolnego podzbioru jest wnioskiem na temat ograniczonej klasy miar prawdopodobieństwa w modelu M , więc kiedy zaczynasz pytać o prawdopodobieństwo wnioskowania o prawdziwości model, pod modelem, degeneruje się to do trywialnego pytania, czy na początku występuje błędna specyfikacja. Biały omija ten problem, sprawdzając, jak bliski jest model do prawdziwej miary prawdopodobieństwa, używając odpowiedniej miary odległości. To prowadzi go do miary prawdopodobieństwa P θ 1 , która jest najbliższym proxy dla P ∗ w$\Theta$$\mathcal{M}$$\mathbb{P}_{\theta_1}$$\mathbb{P}^*$ . Ta metoda patrzenia na P θ 1 może zostać rozszerzona w celu uzyskania interesujących ilości odnoszących się do twojego pytania dotyczącego zbiorów ufności.$\mathcal{M}$$\mathbb{P}_{\theta_1}$

Zanim do tego dojdziemy, warto zauważyć, że wartości i B są matematycznie dobrze zdefiniowane w twojej analizie (tj. Istnieją) i nadal mają znaczenie; niekoniecznie jest to bardzo użyteczne znaczenie. Wartość A w twojej analizie jest dobrze zdefiniowana; prawdziwe prawdopodobieństwo, że wyprowadzony zestaw miar prawdopodobieństwa zawiera prawdziwą miarę prawdopodobieństwa. Masz rację, że P ∗ ∉ M implikuje A = 0 , co oznacza, że ​​ta ilość jest trywialna w przypadku błędnej specyfikacji. Idąc śladem White'a, być może bardziej interesujące jest spojrzenie na ilość:$A$$B$$A$$\mathbb{P}^* \notin \mathcal{M}$$A = 0$

Tutaj mamy zastąpić wewnętrzną wystąpienie z jego najbliższego pełnomocnika w modelu M , tak że ilość nie jest już świadczonych trywialne, gdy P * ∉ M . Teraz pytamy o prawdziwe prawdopodobieństwo, że wnioskowany zestaw miar prawdopodobieństwa zawiera najbliższe przybliżenie prawdziwej miary prawdopodobieństwa w modelu. Błędne określenie modelu nie trywializuje już tej ilości, ponieważ mamy P θ 1 ∈ M z konstrukcji.$\mathbb{P}^*$$\mathcal{M}$$\mathbb{P}^* \notin \mathcal{M}$$\mathbb{P}_{\theta_1} \in \mathcal{M}$

White analizuje błędną specyfikację, pokazując, że MLE jest spójnym estymatorem . Jest to cenne, ponieważ mówi ci, że nawet jeśli istnieje błędna specyfikacja, nadal poprawnie szacujesz najbliższe proxy do prawdziwej miary prawdopodobieństwa w modelu. Naturalnym pytaniem uzupełniającym dotyczącym zbiorów ufności jest to, czy określona metoda wnioskowania δ nakłada dolną granicę na wielkość A ∗ lub dowolną zbieżność skutkującą granicą jako n → $\mathbb{P}_{\theta_1}$$\delta$$A^*$$n \rightarrow \infty$. Jeśli możesz ustalić (dodatnią) dolną granicę lub (dodatni) wynik konwergencji, daje to pewną wartość w zagwarantowaniu, że nawet w przypadku błędnej specyfikacji, nadal poprawnie oszacujesz najbliższy serwer proxy z pewnym poziomem prawdopodobieństwa. Poleciłbym zbadanie tych kwestii, zgodnie z analizą przeprowadzoną przez White'a.