Założenia dotyczące szacunkowych wartości początkowych niepewności

Doceniam przydatność bootstrapu w uzyskiwaniu oszacowań niepewności, ale jedna rzecz, która zawsze mnie martwiła, to to, że rozkład odpowiadający tym oszacowaniom jest rozkładem zdefiniowanym przez próbkę. Ogólnie rzecz biorąc, wydaje się złym pomysłem, aby wierzyć, że nasze częstotliwości próbkowania wyglądają dokładnie jak rozkład leżący u podstaw, więc dlaczego rozsądne / akceptowalne jest uzyskiwanie oszacowań niepewności na podstawie rozkładu, w którym częstotliwości próbkowania określają rozkład leżący u podstaw?

Z drugiej strony może to nie być gorsze (być może lepsze) niż inne przyjęte przez nas założenia dystrybucyjne, ale nadal chciałbym lepiej zrozumieć uzasadnienie.

Istnieje kilka sposobów na zastosowanie bootstrapu. Dwa najbardziej podstawowe podejścia to tzw. Bootstrap „nieparametryczny” i „parametryczny”. Drugi zakłada, że ​​używany model jest (zasadniczo) poprawny.

Skupmy się na pierwszym. Będziemy zakładać, że masz losowej próbie rozprowadzany zgodnie z funkcji rozkładu . (Zakładając, że inaczej wymaga zmodyfikowanych podejść.) Niech będzie empirycznym rozkładem skumulowanym funkcjonować. Wiele motywacji do bootstrap pochodzi z kilku faktów.$X_1, X_2, \ldots, X_n$$F$$\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Nierówności Dvoretzky – Kiefer – Wolfowitz

To pokazuje, że empiryczna funkcja rozkładu zrównuje się równomiernie z prawdziwą funkcją rozkładu z wykładniczym prawdopodobieństwem. Rzeczywiście, ta nierówność w połączeniu z lematem Borela – Cantellego pokazuje natychmiast, że prawie na pewno.$\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

Nie ma żadnych dodatkowych warunków na formularzu w celu zagwarantowania tej konwergencji.$F$

Heurystycznie zatem, jeśli interesuje nas jakaś funkcjonalna funkcji rozkładu, która jest gładka , oczekujemy, że będzie zbliżone do .$T(F)$$T(\hat{F}_n)$$T(F)$

(Pointwise) Bezstronność$\hat{F}_n(x)$

Prostą liniowością oczekiwań i definicją , dla każdego ,$\hat{F}_n(x)$$x \in \mathbb{R}$

Załóżmy, że interesuje nas średnia . Wtedy bezstronność miary empirycznej rozciąga się na bezstronność liniowych funkcjonałów miary empirycznej. Tak więc $\mu = T(F)$

Więc jest poprawne średnio, a ponieważ szybko zbliża się do , to (heurystycznie), szybko zbliża się do .$T(\hat{F}_n)$$\hat{F_n}$$F$$T(\hat{F}_n)$$T(F)$

Aby skonstruować przedział ufności ( czyli w gruncie rzeczy chodzi o bootstrap ), możemy użyć centralnego twierdzenia granicznego, spójności kwantyli empirycznych i metody delta jako narzędzi do przejścia od prostych funkcjonałów liniowych do bardziej skomplikowanych interesujących statystyk .

Dobre referencje są

1. B. Efron, metody Bootstrap: kolejne spojrzenie na scyzoryk , Ann. Stat. , vol. 7, nr 1, 1–26.
2. B. Efron i R. Tibshirani, An Introduction to Bootstrap , Chapman – Hall, 1994.
3. GA Young i RL Smith, Essentials of Statistics Inference , Cambridge University Press, 2005, rozdział 11 .
4. AW van der Vaart, Asymptotic Statistics , Cambridge University Press, 1998, rozdział 23 .
5. P. Bickel i D. Freedman, Niektóre asymptotyczne teorie dotyczące bootstrapu . Ann. Stat. , vol. 9, nr 6 (1981) 1196–1217.

Oto inne podejście do myślenia o tym:

Zacznij od teorii, w której znamy rozkład rzeczywisty, możemy odkryć właściwości przykładowej statystyki, symulując rozkład rzeczywisty. W ten sposób Gosset opracował rozkład t i test t, próbkując ze znanych normalnych i obliczając statystyki. Jest to właściwie forma parametrycznego bootstrapu. Zauważ, że symulujemy, aby odkryć zachowanie statystyk (czasami w stosunku do parametrów).

A co, jeśli nie znamy rozkładu populacji, mamy oszacowanie rozkładu w rozkładzie empirycznym i możemy z tego próbkować. Próbkując z rozkładu empirycznego (który jest znany) możemy zobaczyć związek między próbkami bootstrap a rozkładem empirycznym (populacja dla próbki bootstrap). Teraz wnioskujemy, że związek między próbkami ładowania początkowego a rozkładem empirycznym jest taki sam, jak w próbce do nieznanej populacji. Oczywiście, jak dobrze przekłada się ta zależność, będzie zależeć od tego, jak reprezentatywna jest próba populacji.

Pamiętaj, że nie używamy średnich próbek próby początkowej do oszacowania średniej populacji, używamy do tego średniej próbki (lub jakiejkolwiek statystyki, która jest przedmiotem zainteresowania). Ale używamy próbek bootstrap do oszacowania właściwości (rozprzestrzeniania się, stronniczości) procesu próbkowania. A używanie próbkowania ze znanej populacji (która, jak mamy nadzieję, jest reprezentatywna dla populacji, której dotyczy zainteresowanie), do poznania efektów próbkowania ma sens i jest znacznie mniej cykliczne.

Główną sztuczką (i żądłem) ładowania początkowego jest to, że jest to teoria asymptotyczna: jeśli masz nieskończoną próbkę na początek, rozkład empiryczny będzie tak bliski rzeczywistemu rozkładowi, że różnica jest znikoma.

Niestety, ładowanie początkowe jest często stosowane w małych próbkach. Powszechnie uważa się, że ładowanie początkowe sprawdziło się w niektórych bardzo niesymptotycznych sytuacjach, ale bądź ostrożny. Jeśli twój rozmiar próbki jest zbyt mały, faktycznie pracujesz warunkowo, aby twoja próbka była „dobrą reprezentacją” prawdziwego rozkładu, co bardzo łatwo prowadzi do rozumowania w kręgach :-)

Nie argumentowałbym z punktu widzenia „asymptotycznie, rozkład empiryczny będzie zbliżony do rozkładu rzeczywistego” (co oczywiście jest bardzo prawdziwe), ale z „perspektywy długoterminowej”. Innymi słowy, w każdym konkretnym przypadku rozkład empiryczny uzyskany przez ładowanie początkowe będzie wyłączony (czasami przesunięty zbyt daleko w ten sposób, czasami przesunięty zbyt daleko w ten sposób, czasami zbyt przekrzywiony w ten sposób, czasami zbyt przekrzywiony w ten sposób), ale średnio to będzie dobrym przybliżeniem do faktycznego rozkładu. Podobnie, twoje szacunki niepewności uzyskane z rozkładu bootstrap będą wyłączone w każdym konkretnym przypadku, ale znowu, średnio będą (w przybliżeniu) prawidłowe.