W jaki sposób „działa” regresja kwantylowa?

Mam nadzieję uzyskać intuicyjne i przystępne wyjaśnienie regresji kwantowej.

Powiedzmy, że mam prosty zestaw danych wyniku i predyktorów . $Y$ $X_1, X_2$

Jeśli na przykład uruchomię regresję przy 0,25, 0,5, 0,75 i odzyskam . $\beta_{0,.25},\beta_{1,.25}...\beta_{2,.75}$

Czy wartości znaleźć po prostu uporządkując wartości i wykonując regresję liniową na podstawie przykładów, które są w / w pobliżu danego kwantylu? $\beta$ $y$

Czy też wszystkie próbki przyczyniają się do oszacowań , z malejącymi wagami wraz ze wzrostem odległości od kwantylu? $\beta$

A może to coś zupełnie innego? Muszę znaleźć dostępne wyjaśnienie.

quantile-regression Jeremy
źródło

Jeśli chodzi o matematykę, te dwie odpowiedzi mogą okazać się pomocne: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/...

Andy

Odpowiedzi:

Polecam Koenker i Hallock (2001, Journal of Economic Perspectives) i tytułowy podręcznik Koenkera .

Punktem wyjścia jest obserwacja, że mediana zbioru danych minimalizuje sumę błędów bezwzględnych . Oznacza to, że kwantyl 50% jest rozwiązaniem konkretnego problemu optymalizacji (aby znaleźć wartość, która minimalizuje sumę błędów bezwzględnych).
Na podstawie tego łatwo jest stwierdzić, że każdy kwantil jest rozwiązaniem konkretnego problemu minimalizacji, mianowicie zminimalizowania sumy asymetrycznie ważonych błędów bezwzględnych, z wagami zależnymi od . $\tau$ $\tau$
Wreszcie, aby przejść do regresji, modelujemy rozwiązanie tego problemu minimalizacji jako liniową kombinację zmiennych predykcyjnych, więc teraz problemem jest znalezienie nie jednej wartości, ale zestawu parametrów regresji.

Twoja intuicja jest więc całkiem poprawna: wszystkie próbki przyczyniają się do oszacowań , z wagami asymetrycznymi zależnymi od kwantylu którego dążymy. $\beta$ $\tau$

S. Kolassa - Przywróć Monikę
źródło

Jeśli chodzi o punkt 1), czy nie byłoby to prawdą tylko przy założeniu, że Y jest symetrycznie rozmieszczone? Jeśli Y jest przekrzywione jak {1, 1, 2, 4, 10}, mediana 2 z pewnością nie zminimalizuje błędu bezwzględnego. Czy regresja kwantylowa zawsze zakłada, że Y jest rozkładem symetrycznym? Dzięki!

Ben

@Ben: nie, symetria nie jest wymagana. Kluczową kwestią jest to, że mediana minimalizuje oczekiwany błąd bezwzględny. Jeśli masz dyskretny rozkład o wartościach 1, 2, 4, 10 i prawdopodobieństwach 0,4, 0,2, 0,2, 0,2, to podsumowanie punktowe 2 faktycznie minimalizuje oczekiwany błąd bezwzględny. Symulacja to tylko kilka wierszy kodu R:

foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")

S. Kolassa - Przywróć Monikę

(I tak, powinienem był

wyjaśnić

Derp. Co ja sobie myślałem. To ma teraz sens, dzięki.

Ben

Podstawowa idea regresji kwantowej wynika z faktu, że analityk jest zainteresowany dystrybucją danych, a nie tylko środkiem danych. Zacznijmy od średniej.

$y=X\beta$ $E(Y|X=x)=x\beta$ $\arg\min_\beta (y-x\beta)'(y-X\beta)$

Z drugiej strony regresja mediany szuka linii, która oczekuje, że połowa danych jest po bokach. W tym przypadku funkcją docelową jestgdziejest pierwszą normą. $\arg\min_\beta |y-X\beta|$ $|.|$

Rozszerzenie idei mediany na kwantyle powoduje regresję kwantyli. Chodzi o to, aby znaleźć linię, która procent danych jest poza tym. $\alpha$

Tutaj popełniłeś niewielki błąd, regresja Q nie jest jak znalezienie kwantyla danych, a następnie dopasowanie linii do tego podzbioru (lub nawet trudniejszych granic).

Regresja Q szuka linii dzielącej dane na q kwantyl i resztę . Funkcja docelowa, mówiąc, że funkcją sprawdzającą regresji Q jest $\alpha$

{\hat{β}}_{α} = \arg min_{β} {α | y - X β | I (y > X β) + (1 - α) | y - X β | I (y < X β)} .

$\hat\beta_\alpha=\arg\min_\beta \bigg\{\alpha |y-X\beta| I(y>X\beta) + (1-\alpha) |y-X\beta|I(y<X\beta)\bigg\}.$

Jak widzisz, ta sprytna funkcja celu to nic innego jak przełożenie kwantyla na problem optymalizacji.

Ponadto, jak widać, regresja Q jest zdefiniowana dla określonego kwantu ( ), a następnie może zostać rozszerzona, aby znaleźć wszystkie kwantyle. Innymi słowy, regresja Q może odtwarzać (warunkowy) rozkład odpowiedzi. $\beta_\alpha$

TPArrow
źródło

Ta odpowiedź jest genialna.

Jinhua Wang