Oczekiwana wartość , współczynnik determinacji, pod hipotezą zerową

Jestem ciekawy stwierdzenia dokonanego na dole pierwszej strony tego tekstu dotyczącego korekty $R^2_\mathrm{adjusted}$

R_{a d j u s t e d}^{2} = 1 - (1 - R^{2}) (\frac{n - 1}{n - m - 1}) .

$R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right).$

Tekst stanowi:

Logika korekty jest następująca: w zwykłej regresji wielokrotnej predyktor losowy wyjaśnia średnio proporcję $1/(n – 1)$ zmiany odpowiedzi, tak że $m$ losowych predyktorów wyjaśnia razem, średnio $m/(n – 1)$ wariantu odpowiedzi; innymi słowy, oczekiwana wartość $R^2$ to $\mathbb{E}(R^2) = m/(n – 1)$ . Zastosowanie formuły [ $R^2_\mathrm{adjusted}$ ] do tej wartości, gdzie wszystkie predyktory są losowe, daje $R^2_\mathrm{adjusted} = 0$ ”.

Wydaje się, że jest to bardzo prosta i możliwa do interpretacji motywacja dla $R^2_\mathrm{adjusted}$ . Jednak nie udało mi się ustalić, że $\mathbb{E}(R^2)=1/(n – 1)$ dla pojedynczego losowego (tj. Nieskorelowanego) predyktora.

Czy ktoś może skierować mnie tutaj we właściwym kierunku?

regression expected-value goodness-of-fit r-squared gregory_britten
źródło

Jeśli w przyszłości link przestanie działać, czy możesz podać pełne odniesienie? Dziękuję Ci.

Richard Hardy,

Odpowiedzi:

To są dokładne statystyki matematyczne. Zobacz ten post dla wyprowadzenia rozkładu pod hipotezą, że wszystkie regresory (za wyjątkiem stałej stałej) są nieskorelowane ze zmienną zależną („predyktory losowe”). $R^2$

Ten rozkład to Beta, gdzie jest liczbą predyktorów bez zliczania stałego składnika, a wielkości próby, $m$ $n$

R^{2} \sim B e t a (\frac{m}{2}, \frac{n - m - 1}{2})

$R^2 \sim Beta\left (\frac {m}{2}, \frac {n-m-1}{2}\right)$

a więc

E (R^{2}) = \frac{m / 2}{(m / 2) + [(n - m - 1) / 2]} = \frac{m}{n - 1}

$E(R^2) = \frac {m/2}{(m/2)+[(n-m-1)/2]} = \frac{m}{n-1}$

Wydaje się to sprytnym sposobem na „uzasadnienie” logiki skorygowanego : jeśli rzeczywiście wszystkie regresory są nieskorelowane, wówczas skorygowane wynosi „średnio” zero. $R^2$ $R^2$

Alecos Papadopoulos
źródło

Potrzebowałem tylko trochę informacji! Dziękuję Ci! I niech żyje wymiana stosów!

gregory_britten

Byłbym zainteresowany przypadkiem, w którym nie wszystkie regresory są nieskorelowane ze zmienną zależną. Czy miałbyś jakieś odniesienia na ten temat?

Olivier

@Olivier Nie Obawiam się, że nie. Zajrzyj do „Testu F pod kątem znaczenia regresji, rozkładu pod alternatywą” lub czegoś podobnego.

Alecos Papadopoulos