zakres przedziałów ufności z regularnymi szacunkami

21

Załóżmy, że próbuję oszacować dużą liczbę parametrów na podstawie danych wielowymiarowych, używając pewnego rodzaju regularnych oszacowań. Regularizator wprowadza pewne szacunki do szacunków, ale nadal może być dobrym kompromisem, ponieważ zmniejszenie wariancji powinno więcej niż zrekompensować.

Problem pojawia się, gdy chcę oszacować przedziały ufności (np. Używając aproksymacji Laplace'a lub ładowania początkowego). W szczególności odchylenie w moich szacunkach prowadzi do złego pokrycia w moich przedziałach ufności, co utrudnia określenie częstych właściwości mojego estymatora.

Znalazłem kilka artykułów omawiających ten problem (np. „Asymptotyczne przedziały ufności w regresji grzbietu w oparciu o rozszerzenie Edgewortha” ), ale matematyka jest głównie ponad moją głową. W powiązanym dokumencie Równania 92-93 wydają się dostarczać współczynnik korygujący dla szacunków, które zostały uregulowane przez regresję grzbietu, ale zastanawiałem się, czy istnieją dobre procedury, które działałyby z szeregiem różnych regulizatorów.

Nawet korekta pierwszego rzędu byłaby niezwykle pomocna.

confidence-interval bias regularization ridge-regression coverage-probability David J. Harris
źródło
4
+1 aktualne i ważne pytanie - choć nie jestem pewien, czy ktoś może obecnie odpowiedzieć twierdząco (chyba po prostu nie wiemy, jak to zrobić poprawnie, a gdybym wiedział, miałbym kilka Roczników Dokumenty statystyczne w kolejce). Powiązane pytanie: stats.stackexchange.com/questions/91462/... Wiemy, że ładowanie odbywa się wyłącznie w takich sytuacjach, ale to nie pomoże.
Momo
Dzięki za link. Czy możesz wyjaśnić, co miałeś na myśli odnośnie ładowania początkowego?
David J. Harris
Nadal mam nadzieję, że ktoś może mieć metody, które sprawdzą się w przypadku nieregularnych regulizatorów. Wyobrażam sobie, że kara L1 sprawia, że ​​wszystko jest szczególnie trudne z powodu wszystkich szacunków zebranych na zero. Dzięki jeszcze raz.
David J. Harris,
1
Dave, czy odpowiednie byłyby tak zwane przedziały selekcji Tibshirani i współautorów? Opracowali je przynajmniej dla Lasso, LARS i regresji krokowej za pomocą czegoś zwanego formą wielościenną . Na tej podstawie można zasadniczo tworzyć przedziały ufności w zwykły sposób, ale używając okrojonej normy z limitami i podanymi na podstawie danych. Powierzchowne szczegóły oraz linki do faktycznych dokumentów (większość z nich znajduje się w ArXiv) znajdują się w Taylor i Tibshirani (2015, PNAS) . dore
Przywróć Monikę - G. Simpson
1
Artykuł Rubena Dezeure'a, Petera Bühlmanna, Lukasa Meiera i Nicolai Meinshausen jest, według mojej najlepszej wiedzy, najnowszym i wyczerpującym opisem wnioskowania w środowisku wielowymiarowym.
NRH,

Odpowiedzi:

4

Istnieje niedawny artykuł, który dokładnie odpowiada na twoje pytanie (jeśli, jak rozumiem, chcesz wykonać regresję danych) i, na szczęście, zapewnia wyrażenia, które są łatwe do obliczenia (przedziały ufności i testowanie hipotez dla regresji wielowymiarowej).

Być może zainteresuje Cię również ostatnia praca Petera Bühlmanna na ten właśnie temat. Uważam jednak, że pierwszy artykuł zawiera to, czego szukasz, a treść jest łatwiejsza do strawienia (nie jestem też statystą).

jpmuc
źródło
+1 Ciekawy papier. Wygląda więc na to, że istnieją co najmniej trzy konkurujące ze sobą pomysły na podejście do tych problemów i z tego, co widzę, nie są one ściśle powiązane. Jest też twierdzenie o niemożliwości z dzienników.cambridge.org/ action/... Ciekawe będzie, jak to się potoczy i co stanie się kanoniczne.
Momo
Dzięki. To może nie być coś, co faktycznie jestem w stanie wdrożyć, ale wygląda na to, że matematyka działa dla wielu regularnych szacunków.
David J. Harris
1

http://cran.r-project.org/web/packages/hdi/index.html

Czy tego szukasz?

Description
Computes confidence intervals for the l1-norm of groups of regression parameters in a hierarchical
clustering tree.
Tagar
źródło
Miałem nadzieję na coś, co zadziałałoby dla różnych (głównie nielicznych) regulizatorów. W każdym razie dzięki.
David J. Harris