Czy

18

Wydaje mi się, że pomyliłem się, próbując zrozumieć, czy wartość kwantyfikacji r ma również wartość p .

Jak rozumiem, w korelacji liniowej z zestawem punktów danych r może mieć wartość w zakresie od 1 do a ta wartość, cokolwiek to jest, może mieć wartość która pokazuje, czy jest znacząco różne od (tj. , jeśli istnieje liniowa korelacja między dwiema zmiennymi).1pr0

Przechodząc do regresji liniowej, do danych można dopasować funkcję opisaną równaniem . i ( przecięcia i nachylenie) mają również wartości aby pokazać, czy różnią się znacznie od zera .Y=a+bXabp0

Zakładając, że do tej pory wszystko zrozumiał prawidłowe, to p -value dla r i p -value dla b po prostu to samo? Czy zatem słuszne jest stwierdzenie, że to nie r kwadrat ma wartość p ale raczej r lub b ma?

użytkownik1357
źródło

Odpowiedzi:

14

Oprócz licznych (poprawnych) komentarzy innych użytkowników wskazujących, że wartość dla jest identyczna z wartością dla globalnego testu , należy zauważyć, że można również uzyskać wartość p powiązaną z r 2 „bezpośrednio” wykorzystując fakt, że r 2 pod hipotezą zerową jest dystrybuowany jako Beta ( v npr2pFpr2r2Beta(vn2,vd2), w którymvnivdsą licznik i mianownik stopnia swobody, odpowiednio, do związanegoF-statistic.

Trzeci punkt w podsekcji Pochodzenie z innych dystrybucji wpisu Wikipedii w wersji beta mówi nam, że:

Jeśli Xχ2(α) i Yχ2(β) są niezależne, to XX+YBeta(α2,β2).

Cóż, możemy napisać r2 w tym XX+YFormularz X + Y.

Niech SSY będzie sumą kwadratów dla zmiennej Y , SSE będzie sumą błędów kwadratu dla regresji Y dla niektórych innych zmiennych, a SSR będzie „sumą kwadratów zredukowanych”, to znaczy SSR=SSYSSE . Następnie I oczywiście, jako sumy kwadratów,SSRiSSEsą podzielone jakoχ2 odpowiedniozvnivdstopniami swobody. Dlatego r2Beta(vn

r2=1SSESSY=SSYSSESSY=SSRSSR+SSE
SSRSSEχ2vnvd (Oczywiście nie pokazałem, że dwa kwadraty chi są niezależne. Może komentator może coś o tym powiedzieć.)
r2Beta(vn2,vd2)

Demonstracja w języku R (kod wypożyczenia z @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731
Jake Westfall
źródło
6

Mam nadzieję, że ta czwarta (!) Odpowiedź wyjaśnia dalej.

W prostej regresji liniowej istnieją trzy równoważne testy:

  1. test t dla zerowego nachylenia populacji kowariancji X
  2. test t dla zerowej korelacji populacji między a odpowiedzią YXY
  3. Test F dla zerowej populacji R-kwadrat, czyli nic zmienności mogą być wyjaśnione przez różniące X .YX

Wszystkie trzy testy sprawdzają liniowe powiązanie między i Y i na szczęście (!) Wszystkie prowadzą do tego samego wyniku. Ich statystyki testowe są równoważne. (Testy 1 i 2 oparte są na rozkładzie Studenta z n - 2 df, co odpowiada rozkładowi próbkowania F z testu 3, tylko z kwadratową statystyką testu).XYn2

Szybki przykład w R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0***0.001**0.01*0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Jak widać, trzy testy dają tę samą wartość p 0,00218. Zauważ, że test 3 jest tym w ostatnim wierszu wyniku.

Zatem twój test F dla kwadratu R jest bardzo częsty, chociaż niewielu statystów interpretuje go jako test dla kwadratu R.

Michael M.
źródło
5

Wydaje mi się, że masz przyzwoite zrozumienie. Moglibyśmy uzyskać wartość dla r 2 , ale ponieważ jest to (niestochastyczna) funkcja r , p s byłoby identyczne. pr2rp

gung - Przywróć Monikę
źródło
Nie wydaje mi się Łącząc wnioskowanie o i r 2 z wnioskowaniem o α i β z OLS, ρ jest znaczące, jeśli β jest niezerowe, niezależnie od α . Jednakże, R 2 ma znaczenie, jeżeli albo α lub β nie są zerami. Pomaga to wizualizować, co oceniają poszczególne testy. ρr2αβρβαr2αβ
AdamO,
1
@AdamO, nie mogę śledzić argumentu w twoim komentarzu. Podobny do postu poniżej Michaela Mayera, w R try: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). P dla r wynosi .265. P dla b & dla globalnego testu F są identyczne, nawet jeśli p dla a jest 6.96e-09.
gung - Przywróć Monikę
Dokładnie o to mi chodzi. różni się od r 2, a ich wartość p NIE jest identyczna. r 2 może być funkcją r , ale nie jest to nawet funkcja monotoniczna. r 2 może mieć znaczenie, gdy r nie jest. Co mierzy r 2 ? Jest to błąd standardowy resztkowy po narysowaniu linii trendu OLS i obliczeniu resztek. Czy w twoim przykładzie pozostała wariancja będzie mniejsza niż bezwarunkowa wariancja Y ? Absolutnie. r 2rr2pr2rr2rr2Yr2 jest znaczące. Możesz obliczyć parametry operacyjne za pomocą bootstrap, a połączenie między ANOVA i zwykłymi najmniejszymi kwadratami również rzuca światło na sprawę.
AdamO
4
Można również uzyskać wartość powiązaną z r 2 „bezpośrednio”, wykorzystując fakt, że r 2 w ramach hipotezy zerowej jest dystrybuowane jako B e t a ( v npr2r2, w którymvnivdsą licznik i mianownik stopnia swobody, odpowiednio, do związanegoF-statistic. (Zobacz trzecią tożsamość tutaj:en.wikipedia.org/wiki/….) Tak więc, korzystając z przykładowych danych @ gung, jeśliwejdziemy, otrzymamy. Beta(vn2,vd2)vnvdFR1 - pbeta(0.06856, 1/2, 18/2)0.2647731
Jake Westfall
4
@AdamO, I still don't understand. They are both .265, how are they not identical?
gung - Reinstate Monica
4

There are several ways of deriving the test statistic for tests of the Pearson correlation, ρ. To obtain a p-value, it is worth emphasizing that you need both a test and a sampling distribution of a test statistic under the null hypothesis. Your title and question seems to have some confusion between Pearson correlation and the "variance explained" r2. I will consider the correlation coefficient first.

There is no "best" way to test the Pearson correlation which I'm aware of. Fisher's Z transformation is one such way, based on hyperbolic transformations, so that the inference is a little bit more efficient. This is certainly a "good" approach, but the sad bit is that inference for this parameter is consistent with inference about the slope parameter β for association: they tell the same story in the long run.

Powodem, dla którego Statystycy (klasycznie) całkowicie korzystne testów dlatego, że nie ma „najlepszy” test: regresji liniowej, która jest BLUE estymatora. W czasach współczesnych statystyk tak naprawdę nie obchodzi nas, czy test jest już „najlepszy”, ale regresja liniowa ma wiele innych fantastycznych właściwości, które uzasadniają jej dalsze stosowanie do określania związku między dwiema zmiennymi. Ogólnie rzecz biorąc, twoja intuicja jest słuszna: są w istocie tym samym i koncentrujemy naszą uwagę na β jako bardziej praktycznym mierniku skojarzenia.ββ

The r2 is a function of both the slope and the intercept. If either of these values are nonzero, the r2 should have a discernable sampling distribution relative to that which would be expected if the linear parameters were zero. However, deriving distributions of r2 under the null and comparing to r2 under some alternative hypothesis doesn't give me much confidence that this test has much power to detect what we want it to. Just a gut feeling. Again turning to "best" estimators, OLS gives us "best" estimates of both the slope and the intercept, so we have that confidence that our test is at least good for determining the same (if any) association by directly testing the model parameters. To me, jointly testing the α and β with OLS is superior to any test about r2 except in a rare case of (perhaps) a non-nested predictive modeling calibration application... but BIC would probably be a better measure in that scenario anyway.

AdamO
źródło
1
"The r2 is a function of both the slope and the intercept." Maybe I'm missing something but... isn't it just a function of the slope? Maybe you could provide a concrete demonstration?
Jake Westfall
Sure. Recall that if observed data perfectly correspond with the trendline, then r2=1 exactly. Consider "flat response" data with no variability but a non-zero intercept, so all tuples take the form (xi,β0) for all i{1,2,n}. r2=1 as alluded to. The coefficient of determination serves as a reasonable summary of predictive ability for a linear equation, and obtaining those predictions requires both a slope and an intercept.
AdamO
1

This isn't quite how I would interpret things. I don't think I'd ever calculate a p-value for r or r2. r and r2 are qualitative measures of a model, not measures that we're comparing to a distribution, so a p-value doesn't really make sense.

Getting a p-value for b makes a lot of sense - that's what tells you whether the model has a linear relationship or not. If b is statistically significantly different from 0 then you conclude that there is a linear relationship between the variables. The r or r2 then tells you how well the model explains the variation in the data. If r2 is low, then your independent variable isn't helping to explain very much about the dependent variable.

A p-value for a tells us if the intercept is statistically significantly different from 0 or not. This is of varying usefulness, depending on the data. My favorite example: if you do a linear regression between gestation time and birth weight you might find an intercept of, say, 8 ounces that is statistically different from 0. However, since the intercept represents a gestation age of 0 weeks, it doesn't really mean anything.

If anyone does regularly calculate p-values for an r2 I'd be interested in hearing about them.

Duncan
źródło
4
Take a closer look at the output of your favorite regression command: it should report an F statistic and a p-value for it. That is also the p-value for the R2, because F and R2 are directly and monotonically related. For ordinary regression with n data, F=(n2)R2/(1R2). Its p-value will be the p-value for the slope. Therefore if you have ever used a p-value for b in ordinary regression, you have used a p-value for R2.
whuber
In practice it seems like people do not think in terms of the significance of r or r^2. What might be more useful is a confidence interval around them.
N Brouwer