Nierówność Oracle: w kategoriach podstawowych

Przeglądam artykuł, który wykorzystuje nierówność wyroczni, aby coś udowodnić, ale nie jestem w stanie zrozumieć, co on nawet próbuje zrobić. Kiedy szukałem w Internecie „Nierówności Oracle”, niektóre źródła skierowały mnie do artykułu „Candes, Emmanuel J.„ Nowoczesne oszacowanie statystyczne poprzez nierówności wyroczni ”. ”, który można znaleźć tutaj https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Ale ta książka wydaje mi się zbyt ciężka i uważam, że brakuje mi pewnych warunków wstępnych.

Moje pytanie brzmi: jak wyjaśniłbyś, czym jest wyrocznia dla nie-matematyki (w tym inżynierów)? Po drugie, w jaki sposób poleciłbyś im omówienie wymagań wstępnych / tematów przed próbą nauczenia się czegoś takiego jak wyżej wspomniana książka.

Zdecydowanie poleciłbym, aby ktoś, kto ma konkretną wiedzę i duże doświadczenie w statystyce wielowymiarowej, odpowiedział na to.

Spróbuję to wyjaśnić w przypadku liniowym. Rozważ model liniowy Gdy (liczba zmiennych niezależnych mniejsza lub równa liczbie obserwacji) i macierz projektowa ma pełną rangę, najmniejszym kwadratowym estymatorem jest Błąd i przewidywania to z którego możemy wywnioskować Oznacza to, że każdy parametr jest szacowany z dokładnością do kwadratuWięc ogólna kwadratowa dokładność wynosiP ≤ n b b = ( X , T X ) - 1 x T Y ‖ X ( b - β 0 ) ‖ 2

$$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$$ $p \leq n$$b$ $$\hat{b}=(X^TX)^{-1}X^TY$$ $$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$$ $$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$$ $\beta_j^0$$\sigma^2/n, j=1,...,p.$$(\sigma^2/n)p.$

Co teraz, jeśli liczba obserwacji jest mniejsza niż liczba zmiennych niezależnych ? „Uważamy”, że nie wszystkie nasze niezależne zmienne odgrywają rolę w wyjaśnianiu , więc tylko kilka, powiedzmy , jest niezerowych. Gdybyśmy wiedzieli, które zmienne są niezerowe, moglibyśmy pominąć wszystkie inne zmienne i powyższym argumentem ogólna kwadratowa dokładność wynosiłaby$(p>n)$$Y$$k$$(\sigma^2/n)k.$

Ponieważ zestaw niezerowych zmiennych jest nieznany, potrzebujemy pewnej kary regularyzacji (na przykład ) z parametrem regularyzacji (który kontroluje liczbę zmiennych). Teraz chcesz uzyskać wyniki podobne do omówionych powyżej, chcesz oszacować dokładność do kwadratu. Problem polega na tym, że twój optymalny estymator jest teraz zależny od . Ale wielkim faktem jest to, że przy właściwym wyborze można z dużym prawdopodobieństwem uzyskać górną granicę błędu prognozy, czyli „nierówność wyroczni” Zwróć uwagę na dodatkowy czynnik X β X X ‖ X ( β - β 0 ) ‖ 2 $l_1$$\lambda$$\hat{\beta}$$\lambda$$\lambda$logp

$$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$$ $\log p$, czyli cena za brak znajomości zestawu zmiennych niezerowych. „ ” zależy tylko od lub .p $const.$$p$$n$