Jaka jest właściwość wyroczni estymatora?

Jaka jest właściwość wyroczni estymatora?
Dla jakich celów modelowania właściwość wyroczni jest istotna (predykcyjne, wyjaśniające, ...)?

Mile widziane są zarówno teoretycznie rygorystyczne, jak i (szczególnie) intuicyjne wyjaśnienia.

feature-selection model-selection estimators oracle Richard Hardy
źródło

Byłoby miło mieć solidną, kompleksową odpowiedź na pytanie. Niektóre powiązane materiały: Zou „Adaptacyjne LASSO i jego właściwości wyroczni” , str. 1 (str. 1418).

Richard Hardy,

Odpowiedzi:

Wyrocznia zna prawdę: zna prawdziwy podzbiór i jest gotowa działać na jego podstawie. Właściwość wyroczni polega na tym, że asymptotyczny rozkład estymatora jest taki sam jak asymptotyczny rozkład MLE tylko na prawdziwym podparciu. Oznacza to, że estymator dostosowuje się do znajomości prawdziwego wsparcia bez płacenia ceny (w kategoriach asymptotycznego rozkładu).

Dzięki asymptotycznym właściwościom optymalizacyjnym MLE omawianym na przykład w statystykach teoretycznych Keenera w twierdzeniu 9.14 wiemy, że w pewnych warunkach technicznych, które utrzymują się, gdy na przykład błąd jest gaussowski, że gdzie zakładamy, że jest prawdziwym współczynnikiem na prawdziwego wsparcia . Zauważ, że wariancja rozkładu asymptotycznego jest odwrotnością informacji Fishera, pokazując, że jest asymptotycznie skuteczny. Ponieważ MLE znając prawdziwe wsparcie osiąga to, jest to również wymagane jako część właściwości wyroczni.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, I^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Płacimy jednak wysoką, nieobjawową cenę: patrz na przykład

Hannes Leeb, Benedikt M. Pötscher, rzadkie estymatory i własność wyroczni, lub zwrot estymatora Hodgesa, Journal of Econometrics, tom 142, wydanie 1, 2008, strony 201-211,

co pokazuje, że ryzyko jakiegokolwiek „estymatora wyroczni” (w sensie Fan i Li, 2001) ma supremum, które rozchodzi się w nieskończoność.

użytkownik795305
źródło

-tak więc właściwość wyroczni dla lasso stwierdza, co następuje: właściwość wyroczni polega na tym, że asymptotyczny rozkład estymatora jest taki sam, jak asymptotyczny rozkład regresji logistycznej LASSO tylko na prawdziwym wsparciu

Annalise Azzopardi

Definicja właściwości Oracle jest ściśle powiązana z kontekstem. Bardzo krótka, ale precyzyjna odpowiedź w regresji liniowej (dokładnie wielowymiarowej) jest następująca:

estymator wyroczni musi być spójny w szacowaniu parametrów i wyborze zmiennych.

Zauważ, że estymator, który jest spójny w wyborze zmiennych, niekoniecznie musi być spójny w szacowaniu parametrów. Zobacz adaptacyjny papier lasso dla definicji matematycznych lub po prostu zobacz te slajdy .

TPArrow
źródło

W artykule adaLASSO (link w moim komentarzu) mówią, że współczynnik konwergencji również musi być optymalny (oprócz spójnego szacowania). To ważna i nieco trudna koncepcja. Czy mógłbyś to rozwinąć?

Richard Hardy,

Wskaźnik konwergencji jest założeniem kontekstowym. W lasso jest to dla liczby obserwacji. Jednak spójność jest asymptotycznym wynikiem w lasso.

\sqrt{n}

$\sqrt{n}$

n

$n$

TPArrow

Czy sugerowałbyś zatem usunięcie wymogu, aby szybkość była optymalna w definicji właściwości Oracle?

Richard Hardy,

W ogólnych definicjach nie widzę obowiązku wymieniania prędkości. Ale teoretycznie musimy oczywiście znać / określić optymalną prędkość.

TPArrow

Dzięki. Wybieram to, ponieważ tutaj mówimy o definicji, więc staram się być precyzyjny.

Richard Hardy,