Jak podzielić r-kwadrat między zmienne predykcyjne w regresji wielokrotnej?

16

Właśnie przeczytałem artykuł, w którym autorzy przeprowadzili regresję wielokrotną z dwoma predyktorami. Ogólna wartość r-kwadrat wynosiła 0,65. Dostarczyły tabelę, która dzieli r-kwadrat między dwa predyktory. Stół wyglądał tak:

            rsquared beta    df pvalue
whole model     0.65   NA  2, 9  0.008
predictor 1     0.38 1.01 1, 10  0.002
predictor 2     0.27 0.65 1, 10  0.030

W tym modelu uruchomionym przy Rużyciu mtcarszestawu danych całkowita wartość r-kwadrat wynosi 0,76.

summary(lm(mpg ~ drat + wt, mtcars))

Call:
lm(formula = mpg ~ drat + wt, data = mtcars)

Residuals:
    Min      1Q  Median      3Q     Max 
-5.4159 -2.0452  0.0136  1.7704  6.7466 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   30.290      7.318   4.139 0.000274 ***
drat           1.442      1.459   0.989 0.330854    
wt            -4.783      0.797  -6.001 1.59e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 3.047 on 29 degrees of freedom
Multiple R-squared:  0.7609,    Adjusted R-squared:  0.7444 
F-statistic: 46.14 on 2 and 29 DF,  p-value: 9.761e-10

Jak mogę podzielić wartość r-kwadrat na dwie zmienne predykcyjne?

r multiple-regression r-squared importance variance-decomposition luciano
źródło

1

Ten post zawiera informacje o sposobie podziału

.

R^{2}

$R^{2}$

COOLSerdash

8

Ten komentarz może krótko i nieadekwatnie przedstawiać punkt widzenia, który często okaże się daremny, jeśli nie niebezpieczny. Sukces lub porażka modelu jest najlepiej postrzegana jako wynik wysiłku zespołu predyktorów (i ich konkretnych form funkcjonalnych, warunków interakcji itp. Itp.) I należy go oceniać jako taki. Oczywiście większość z nas jest zainteresowana względnym znaczeniem predyktorów i nie jest to nonsens, ale próbom dokładnego oszacowania tego muszą towarzyszyć pełne stwierdzenia ograniczeń technicznych i filozoficznych takiego ćwiczenia.

Nick Cox,

5

Możesz po prostu uzyskać dwie osobne korelacje i wyprostować je lub uruchomić dwa osobne modele i uzyskać R ^ 2. Zsumują się tylko wtedy, gdy predyktory są ortogonalne.

Jan
źródło

2

Czy przez „ortogonalny” rozumiesz, że dwa predyktory powinny być ze sobą nieskorelowane?

luciano

3

Tak, nieskorelowane ... to jedyny sposób, w jaki sumują się do całości.

John

13

Oprócz odpowiedzi Johna możesz chcieć uzyskać kwadratowe korelacje częściowo cząstkowe dla każdego predyktora.

Predyktory nieskorelowane : jeśli predyktory są ortogonalne (tj. Nieskorelowane), wówczas kwadratowe korelacje częściowo cząstkowe będą takie same jak kwadratowe korelacje zerowego rzędu.
Skorelowane predyktory: Jeśli predyktory są skorelowane, wówczas kwadratowa korelacja częściowo cząstkowa będzie reprezentować unikalną wariancję wyjaśnioną przez dany predyktor. W tym przypadku, suma kwadratów korelacji semicząstkowe będzie mniejsza niż . Ta pozostała wyjaśniona wariancja będzie reprezentować wariancję wyjaśnioną przez więcej niż jedną zmienną. $R^2$

Jeśli szukasz funkcji R, jest spcor()w ppcorpakiecie.

Możesz także rozważyć szerszy temat oceny znaczenia zmiennej w regresji wielokrotnej (np. Zobacz tę stronę o pakiecie relaimpo ).

Jeromy Anglim
źródło

3

Do twojego pytania dodałem tag dekompozycji wariancji . Oto część tagu wiki :

Jedną z powszechnych metod jest dodawanie regresorów do modelu jeden po drugim i rejestrowanie wzrostu miarę dodawania każdego regresora. Ponieważ wartość ta zależy od regresorów znajdujących się już w modelu, należy to zrobić dla każdej możliwej kolejności, w której regresory mogą wejść do modelu, a następnie uśrednić dla zamówień. Jest to wykonalne w przypadku małych modeli, ale staje się niemożliwe do obliczeń w przypadku dużych modeli, ponieważ liczba możliwych zamówień wynosi dla predyktorów . $R^2$ $p!$ $p$

Grömping (2007, The American Statistician ) przedstawia przegląd i wskazówki w literaturze w kontekście oceny zmiennego znaczenia.

Stephan Kolassa
źródło

y ~ a + by ~ b + ay ~ ay ~ a + by ~ by ~ a + by ~ b + a

2^{p}

$2^p$

R^{2}

$R^2$ aab

R^{2}

$R^2$ y~1y~ab

R^{2}

$R^2$ y~by~a+b

2^{p}

$2^p$

2!

$2!$

2^{p} = \sum_{q = 0}^{p} (\binom{p}{q})

$2^p=\sum_{q=0}^p{p\choose q}$

(\binom{p}{q})

${p\choose q}$

q

$q$

p

$p$

q = 0

$q=0$

q

$q$

q

$q$

\sum_{q = 1}^{p} q (\binom{p}{q})

$\sum_{q=1}^p q{p\choose q}$

2^{p}

$2^p$

Jak podzielić r-kwadrat między zmienne predykcyjne w regresji wielokrotnej?

Odpowiedzi: