Czy ktoś może wyjaśnić, jak mam 5 lat, ten problem na podstawie książki ESL Hastie?

Pracuję nad książką ESL Hastie i mam trudności z pytaniem 2.3. Pytanie jest następujące:

Rozważamy oszacowanie najbliższego sąsiada w punkcie początkowym, a to równanie podaje medianę odległości od początku do najbliższego punktu danych. Nie mam pojęcia, od czego zacząć, jeśli chodzi o próbę uzyskania tego.

Wiem, że większość punktów danych znajduje się bliżej granicy przestrzeni próbki, niż do jakiegokolwiek innego punktu danych (przekleństwo wymiarowości), ale mam problem z przetłumaczeniem tego na sens algebry liniowej / prawdopodobieństwa.

Dzięki!

machine-learning computational-statistics Gary
źródło

Co oznacza „ELI5” w tytule? Jeśli chcesz wyprowadzić to równanie, musisz zacząć od modelu prawdopodobieństwa punktów w piłce: co to za model? (Proszę nie wymagać od czytelników, aby odwoływali się do książki lub innej strony, aby zrozumieć twoje pytanie.)

whuber

@ whuber Zgadzam się - akronimy to straszny schemat mieszania.

Sycorax mówi Przywróć Monikę

Masz pięć lat Podziękowania dla Ciebie za chęć zrozumienia języka angielskiego, ale musisz poczekać do szóstego roku życia. To książka dla dużych chłopców i dziewcząt.

Nick Cox,

Pięciolatek może zacząć od spojrzenia na jednowymiarowy przypadek (p = 1). A kiedy to będzie już gotowe, zabierz to stamtąd.

Mark L. Stone

Jeśli mamy zamiar przeliterować ELI5, co z ESL?

mdewey

Pozwolić $r$ być odległością od źródła i pozwolić $V_0[p]$ być objętością hipersfery w jednostce $p$ wymiary Następnie objętość zawarta w hipersferze o promieniu $r$ jest

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Jeśli pozwolimy $P=V[r]/V_0[p]$ oznacz ułamek objętości zawartej w tej hipersferze i zdefiniuj $R=r^p$ , następnie

P [R] = R

$P[R]=R$

Jeśli punkty danych są równomiernie rozmieszczone w obrębie kuli jednostkowej, to dla $0\leq R\leq 1$ powyższy wzór jest funkcją skumulowanego rozkładu (CDF) dla $R$ . Jest to równoważne jednolitej gęstości prawdopodobieństwa dla $R$ w przedziale jednostkowym, tj $p[R]= P'[R] =1$ . Tak więc, jak wskazał Mark Stone w komentarzach, możemy zmniejszyć $p$ skrzynka wymiarowa do równoważnego problemu 1D.

Teraz, jeśli mamy jeden punkt $R$ , z definicji mamy CDF $\Pr[R\leq \rho]=P[\rho]$ i . Jeśli jest najmniejszą wartością spośród punktów, a wszystkie punkty są niezależne, to CDF dla jest podane przez (jest to standardowy wynik teorii jednowymiarowej wartości ekstremalnej ). $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

Z definicji mediany mamy które możemy przepisz jako co odpowiada pożądanemu wynikowi.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

EDYCJA: Próba odpowiedzi w stylu „ ELI5 ”, w trzech częściach.

W przypadku 1D z jednym punktem odległość jest równomiernie rozłożona na , więc mediana będzie wynosić . $[0,1]$ $\frac{1}{2}$
W 1D rozkład minimum na punktów jest pierwszym przypadkiem tej potęgi. $n$ $n$
W wymiarach odległość nie jest równomiernie rozłożona, ale wynosi. $p$ $r$ $r^p$

GeoMatt22
źródło

Ha ha, skomentowałem, że pięciolatek może zacząć od spojrzenia na przypadek p = 1. Pomyślałem o dodaniu komentarza, że 4-latek może nie tylko zacząć od przypadku p = 1, ale także n = 1. Ale pomyślałem, że pozwolę temu 5-latkowi to zrozumieć.

Mark L. Stone,

Zwróć uwagę, że kiedy odpowiedziałem na pytanie, było to po tym, jak @fcop wyjaśnił: „Rozważ N punktów danych równomiernie rozmieszczonych w kuli jednostkowej p-wymiarowej wyśrodkowanej na początku. Pokaż, że mediana odległości od początku do początku najbliższy punkt danych podaje ... ”. Zatem piłka jednostkowa w odniesieniu do normy w przestrzeni wymiarowej. Następnie pytanie zostało przywrócone do oryginału, który różni się i nie jest tak jasny. (Patrz łańcuch komentarzy pod oryginalnym pytaniem.)

L_{2}

$L_2$

p

$p$

GeoMatt22

Czy ktoś może wyjaśnić, jak mam 5 lat, ten problem na podstawie książki ESL Hastie?

Odpowiedzi: