Jaki jest rozkład w regresji liniowej pod hipotezą zerową? Dlaczego jego tryb nie jest ustawiony na zero, gdy ?

26

Jaki jest rozkład współczynnika determinacji, czyli R do kwadratu, , w regresji wielokrotnej liniowej jednowymiarowej z regresją zerową ?R2R2H0:β=0H0:β=0

Jak to zależy od liczby predyktorów i liczby próbek ? Czy istnieje sposób wyrażenia w formie zamkniętej dla trybu tej dystrybucji?kkn>kn>k

W szczególności mam wrażenie, że dla prostej regresji (z jednym predyktorem ) ten rozkład ma mod na zero, ale dla regresji wielokrotnej tryb ma niezerową wartość dodatnią. Jeśli to prawda, czy istnieje intuicyjne wyjaśnienie tego „przejścia fazowego”?xx


Aktualizacja

Jak pokazano poniżej @Alecos, rozkład rzeczywiście osiąga wartość szczytową przy zero, gdy i a nie przy zero, gdy . Wydaje mi się, że na przejściu fazowym powinien być geometryczny widok. Rozważmy geometryczny widok OLS: jest w , definiuje tam podprzestrzeń wymiarową. OLS równa się rzutowaniu na tę podprzestrzeń, a jest kwadratem cosinus kąta między i jego rzutem .k=2k=2k=3k=3k>3k>3yyRnRnXXkkyyR2R2yyˆyy^

Otóż ​​z odpowiedzi @ Alecosa wynika, że ​​jeśli wszystkie wektory są losowe, wówczas rozkład prawdopodobieństwa tego kąta osiągnie wartość szczytową przy dla i , ale będzie miał tryb o innej wartości dla . Czemu?!9090k=2k=2k=3k=3<90<90k>3k>3


Aktualizacja 2: Akceptuję odpowiedź @ Alecos, ale nadal mam wrażenie, że brakuje mi tutaj ważnego wglądu. Jeśli ktokolwiek zasugeruje jakiekolwiek inne (geometryczne lub nie) spojrzenie na to zjawisko, które uczyniłoby to „oczywistym”, chętnie zaoferuję nagrodę.

ameba mówi Przywróć Monikę
źródło
1
Czy chcesz założyć normalność błędów?
Dimitriy V. Masterov,
1
Tak, chyba trzeba założyć, że na to pytanie można odpowiedzieć (?).
ameba mówi Przywróć Monikę
1
@Khashaa: w rzeczywistości muszę przyznać, że znalazłem tę stronę blogspot przed opublikowaniem tutaj mojego pytania. Szczerze mówiąc, nadal chciałem omawiać to zjawisko na naszym forum, więc udawałem, że tego nie widziałem.
ameba mówi Przywróć Monikę
1
Silnie powiązane pytanie CV stats.stackexchange.com/questions/123651/…
Alecos Papadopoulos

Odpowiedzi:

33

W przypadku konkretnej hipotezy (że wszystkie współczynniki regresora są zerowe, nie uwzględniając stałego składnika, który nie jest badany w tym teście) i w normalności wiemy (patrz np. Maddala 2001, s. 155, ale zauważmy, że tam kk liczy regresory bez stałego terminu, więc wyrażenie wygląda nieco inaczej) niż statystyka

F = n - kk - 1 R21 - R 2

F=nkk1R21R2
są rozmieszczone w środkowejF(k-1,n-k)F(k1,nk)zmiennej losowej.

Zauważ, że chociaż nie testujemy stałego terminu, kk również go liczy.

Przenoszenie rzeczy,

( k - 1 ) F - ( k - 1 ) F R 2 = ( n - k ) R 2( k - 1 ) F = R 2 [ ( n - k ) + ( k - 1 ) F ]

(k1)F(k1)FR2=(nk)R2(k1)F=R2[(nk)+(k1)F]

R 2 = ( k - 1 ) F.( n - k ) + ( k - 1 ) F.

R2=(k1)F(nk)+(k1)F

Ale prawej stronie jest rozpowszechniany jako dystrybucji Beta , a konkretnie

R 2B e t a ( k - 12 ,n-k2 )

R2Beta(k12,nk2)

Tryb tego rozkładu jest

tryb R 2 = k - 12 -1k - 12 +n-k2 -2=k-3n - 5

modeR2=k121k12+nk22=k3n5

TRYB SKOŃCZONY I UNIKALNY
Z powyższej relacji możemy wywnioskować, że aby rozkład miał tryb unikalny i skończony, musimy mieć

k 3 , n > 5

k3,n>5

Jest to zgodne z ogólnym wymogiem dla dystrybucji Beta, który jest

{ α > 1 , β 1 } ,LUB{ α 1 , β > 1 }

{α>1,β1},OR{α1,β>1}

jak można wywnioskować z tego wątku CV lub przeczytać tutaj .
Zauważ, że jeśli { α = 1 , β = 1 } , otrzymujemy rozkład Uniform, więc wszystkie punkty gęstości są modami (skończonymi, ale nie niepowtarzalnymi). Który tworzy na pytanie dlaczego jeśli k = 3 , n = 5 , R 2 jest rozprowadzany w postaci U ( 0 , 1 ) ?{α=1,β=1}k=3,n=5R2U(0,1)

IMPLIKACJE
Załóżmy, że masz k = 5 regresorów (w tym stałą), a n = 99 obserwacji. Całkiem niezła regresja, bez nadmiernego dopasowania. Następniek=5n=99

R 2 | β = 0 ~ B E T ( 2 , 47 ) , w trybie R 2 = 1470,021

R2β=0Beta(2,47),modeR2=1470.021

i wykres gęstości

enter image description here

Intuicja proszę: to jest dystrybucja R 2 przy założeniu, że nie REGRESSOR faktycznie należy do regresji. Więc a) rozkład jest niezależny od regresorów, b) wraz ze wzrostem wielkości próby, jej rozkład koncentruje się w kierunku zera, ponieważ zwiększona informacja zaburza zmienność małych próbek, które mogą powodować pewne „dopasowanie”, ale także c) jako liczbę nieistotnych regresorów zwiększa się dla danej wielkości próbki, rozkład koncentruje się w kierunku 1 , a my mamy zjawisko „fałszywego dopasowania”. R21

Ale również, uwaga jak „łatwo” jest do odrzucenia hipotezy zerowej: na konkretnym przykładzie, dla R 2 = 0,13 skumulowane prawdopodobieństwo już osiągnął 0,99 , tak otrzymaną pochodną R 2 > 0,13 odrzuci NULL „znikomej regresji” w poziom istotności 1 %.R2=0.130.99R2>0.131

DODATEK
Aby odpowiedzieć na nowy problem dotyczący trybu rozkładu R 2 , mogę zaproponować następującą linię myślenia (nie geometryczną), która łączy go ze zjawiskiem „fałszywego dopasowania”: kiedy wykonujemy najmniejsze kwadraty na zbiorze danych , zasadniczo rozwiązujemy układ n równań liniowych z k niewiadomymi (jedyną różnicą w stosunku do matematyki w szkole średniej jest to, że wtedy nazywaliśmy „znanymi współczynnikami”, co w regresji liniowej nazywamy „zmiennymi / regresorami”, „nieznane x” nazywamy teraz „nieznane współczynniki” i „stałe warunki”, co znamy, nazywamy „zmienną zależną”). Tak długo, jak k < nR2nkk<nsystem jest nadmiernie określone i nie ma dokładnego rozwiązania, tylko w przybliżeniu -i różnica pojawia się jako „niewyjaśnionej wariancji zmiennej zależnej”, który jest przechwytywany przez 1 - R 2 . Jeśli k = n, system ma jedno dokładne rozwiązanie (zakładając liniową niezależność). W międzyczasie, gdy zwiększamy liczbę k , zmniejszamy „stopień nadmiernej identyfikacji” systemu i „dążymy” do pojedynczego dokładnego rozwiązania. Zgodnie z tym poglądem, warto dlaczego R 2 wzrasta fałszywie z dodatkiem nieistotnych regresji, a co za tym idzie, dlatego jego tryb stopniowo przemieszcza się w kierunku 1 , as k, zwiększa się o ustalonej1R2k=nkR21kn .n

Alecos Papadopoulos
źródło
1
To matematyka. Dla k = 2 pierwszy parametr rozkładu beta („ α ” w notacji standardowej) staje się mniejszy niż jedność. W takim przypadku dystrybucja Beta nie ma trybu skończonego, pobaw się z keisan.casio.com/exec/system/1180573226, aby zobaczyć, jak kształty się zmieniają. k=2α
Alecos Papadopoulos,
1
@Alecos Doskonała odpowiedź! (+1) Czy mogę zdecydowanie zasugerować dodanie do odpowiedzi wymogu istnienia trybu? Zazwyczaj określa się to jako α > 1 i β > 1, ale bardziej subtelnie, jest ok, jeśli równość zachodzi w jednym z dwóch ... Myślę, że dla naszych celów staje się to k 3 i n k + 2 i co najmniej jeden z nierówności te są surowe . α>1β>1k3 nk+2
Silverfish,
2
@ Khashaa Z wyjątkiem sytuacji, gdy wymaga tego teoria, nigdy nie wykluczam przechwytywania z regresji - jest to średni poziom zmiennej zależnej, regresory lub brak regresorów (i ten poziom jest zwykle dodatni, więc byłoby głupio samookreśleniem pomiń to). Ale zawsze wykluczam to z testu F regresji, ponieważ zależy mi nie na tym, czy zmienna zależna ma niezerową średnią bezwzględną, ale czy regresory mają jakąkolwiek moc wyjaśniającą w odniesieniu do odchyleń od tej średniej.
Alecos Papadopoulos
1
+1! Są tam wyniki dla dystrybucji R 2 dla niezerowej β j ? R2βj
Christoph Hanck
1
@ChristophHanck Zobacz także davegiles.blogspot.jp/2013/05/good-old-r-squared.html
Alecos Papadopoulos
18

Nie będę ponownie redagował B e t a ( k - 12 ,n - k2 )dystrybucja w doskonałej odpowiedzi @ Alecos (jest to standardowy wynik, patrztutajkolejna miła dyskusja), ale chcę podać więcej szczegółów na temat konsekwencji! Po pierwsze, co robi dystrybucję NULLR2wyglądać dla różnych wartościnik? Wykres w odpowiedzi @ Alecos jest dość reprezentatywny dla tego, co dzieje się w praktycznych regresjach wielokrotnych, ale czasami wgląd można uzyskać łatwiej z mniejszych przypadków. Podałem średnią, tryb (tam, gdzie on istnieje) i odchylenie standardowe. Wykres / tabela zasługuje na dobrą gałkę oczną:najlepiej oglądać w pełnym rozmiarze. Mógłbym uwzględnić mniej aspektów, ale wzór byłby mniej wyraźny; ZałączyłemBeta(k12,nk2)R2nkRkod, aby czytelnicy mogli eksperymentować z różnymi podzbiorami n i k .nk

Distribution of R2 for small sample sizes

Wartości parametrów kształtu

Schemat kolorów wykresu wskazuje, czy każdy parametr kształtu jest mniejszy niż jeden (czerwony), równy jeden (niebieski), czy więcej niż jeden (zielony). Lewa strona pokazuje wartość α, podczas gdy β jest po prawej stronie. Ponieważ α = k - 1αβ2 , jego wartość wzrasta w postępie arytmetycznym o wspólną różnicę1α=k122, gdy przechodzimy od kolumny do kolumny (dodaj regresor do naszego modelu), podczas gdy dla ustalonegon,β=n-k12n2 zmniejsza się o1β=nk2212. The total α+β=n12α+β=n12 is fixed for each row (for a given sample size). If instead we fix kk and move down the column (increase sample size by 1), then αα stays constant and ββ increases by 1212. In regression terms, αα is half the number of regressors included in the model, and ββ is half the residual degrees of freedom. To determine the shape of the distribution we are particularly interested in where αα or ββ equal one.

The algebra is straightforward for αα: we have k12=1k12=1 so k=3k=3. This is indeed the only column of the facet plot that's filled blue on the left. Similarly α<1α<1 for k<3k<3 (the k=2k=2 column is red on the left) and α>1α>1 for k>3k>3 (from the k=4k=4 column onwards, the left side is green).

For β=1β=1 we have nk2=1nk2=1 hence k=n2k=n2. Note how these cases (marked with a blue right-hand side) cut a diagonal line across the facet plot. For β>1β>1 we obtain k<n2k<n2 (the graphs with a green left side lie to the left of the diagonal line). For β<1β<1 we need k>n2k>n2, which involves only the right-most cases on my graph: at n=kn=k we have β=0β=0 and the distribution is degenerate, but n=k1n=k1 where β=12β=12 is plotted (right side in red).

Since the PDF is f(x;α,β)xα1(1x)β1f(x;α,β)xα1(1x)β1, it is clear that if (and only if) α<1α<1 then f(x)f(x) as x0x0. We can see this in the graph: when the left side is shaded red, observe the behaviour at 0. Similarly when β<1β<1 then f(x)f(x) as x1x1. Look where the right side is red!

Symmetries

One of the most eye-catching features of the graph is the level of symmetry, but when the Beta distribution is involved, this shouldn't be surprising!

The Beta distribution itself is symmetric if α=βα=β. For us this occurs if n=2k1n=2k1 which correctly identifies the panels (k=2,n=3)(k=2,n=3), (k=3,n=5)(k=3,n=5), (k=4,n=7)(k=4,n=7) and (k=5,n=9)(k=5,n=9). The extent to which the distribution is symmetric across R2=0.5R2=0.5 depends on how many regressor variables we include in the model for that sample size. If k=n+12k=n+12 the distribution of R2R2 is perfectly symmetric about 0.5; if we include fewer variables than that it becomes increasingly asymmetric and the bulk of the probability mass shifts closer to R2=0R2=0; if we include more variables then it shifts closer to R2=1R2=1. Remember that kk includes the intercept in its count, and that we are working under the null, so the regressor variables should have coefficient zero in the correctly specified model.

There is also an obviously symmetry between distributions for any given nn, i.e. any row in the facet grid. For example, compare (k=3,n=9)(k=3,n=9) with (k=7,n=9)(k=7,n=9). What's causing this? Recall that the distribution of Beta(α,β)Beta(α,β) is the mirror image of Beta(β,α)Beta(β,α) across x=0.5x=0.5. Now we had αk,n=k12αk,n=k12 and βk,n=nk2βk,n=nk2. Consider k=nk+1k=nk+1 and we find:

αk,n=(nk+1)12=nk2=βk,n

αk,n=(nk+1)12=nk2=βk,n
βk,n=n(nk+1)2=k12=αk,n
βk,n=n(nk+1)2=k12=αk,n

So this explains the symmetry as we vary the number of regressors in the model for a fixed sample size. It also explains the distributions that are themselves symmetric as a special case: for them, k=kk=k so they are obliged to be symmetric with themselves!

This tells us something we might not have guessed about multiple regression: for a given sample size nn, and assuming no regressors have a genuine relationship with YY, the R2R2 for a model using k1k1 regressors plus an intercept has the same distribution as 1R21R2 does for a model with k1k1 residual degrees of freedom remaining.

Special distributions

When k=nk=n we have β=0β=0, which isn't a valid parameter. However, as β0β0 the distribution becomes degenerate with a spike such that P(R2=1)=1P(R2=1)=1. This is consistent with what we know about a model with as many parameters as data points - it achieves perfect fit. I haven't drawn the degenerate distribution on my graph but did include the mean, mode and standard deviation.

When k=2k=2 and n=3n=3 we obtain Beta(12,12)Beta(12,12) which is the arcsine distribution. This is symmetric (since α=βα=β) and bimodal (0 and 1). Since this is the only case where both α<1α<1 and β<1β<1 (marked red on both sides), it is our only distribution which goes to infinity at both ends of the support.

The Beta(1,1)Beta(1,1) distribution is the only Beta distribution to be rectangular (uniform). All values of R2R2 from 0 to 1 are equally likely. The only combination of kk and nn for which α=β=1α=β=1 occurs is k=3k=3 and n=5n=5 (marked blue on both sides).

The previous special cases are of limited applicability but the case α>1α>1 and β=1β=1 (green on left, blue on right) is important. Now f(x;α,β)xα1(1x)β1=xα1f(x;α,β)xα1(1x)β1=xα1 so we have a power-law distribution on [0, 1]. Of course it's unlikely we'd perform a regression with k=n2k=n2 and k>3k>3, which is when this situation occurs. But by the previous symmetry argument, or some trivial algebra on the PDF, when k=3k=3 and n>5n>5, which is the frequent procedure of multiple regression with two regressors and an intercept on a non-trivial sample size, R2R2 will follow a reflected power law distribution on [0, 1] under H0H0. This corresponds to α=1α=1 and β>1β>1 so is marked blue on left, green on right.

You may also have noticed the triangular distributions at (k=5,n=7)(k=5,n=7) and its reflection (k=3,n=7)(k=3,n=7). We can recognise from their αα and ββ that these are just special cases of the power-law and reflected power-law distributions where the power is 21=121=1.

Mode

If α>1α>1 and β>1β>1, all green in the plot, f(x;α,β)f(x;α,β) is concave with f(0)=f(1)=0f(0)=f(1)=0, and the Beta distribution has a unique mode α1α+β2α1α+β2. Putting these in terms of kk and nn, the condition becomes k>3k>3 and n>k+2n>k+2 while the mode is k3n5k3n5.

All other cases have been dealt with above. If we relax the inequality to allow β=1β=1, then we include the (green-blue) power-law distributions with k=n2k=n2 and k>3k>3 (equivalently, n>5n>5). These cases clearly have mode 1, which actually agrees with the previous formula since (n2)3n5=1(n2)3n5=1. If instead we allowed α=1α=1 but still demanded β>1β>1, we'd find the (blue-green) reflected power-law distributions with k=3k=3 and n>5n>5. Their mode is 0, which agrees with 33n5=033n5=0. However, if we relaxed both inequalities simultaneously to allow α=β=1α=β=1, we'd find the (all blue) uniform distribution with k=3k=3 and n=5n=5, which does not have a unique mode. Moreover the previous formula can't be applied in this case, since it would return the indeterminate form 3355=003355=00.

When n=kn=k we get a degenerate distribution with mode 1. When β<1β<1 (in regression terms, n=k1n=k1 so there is only one residual degree of freedom) then f(x)f(x) as x1x1, and when α<1α<1 (in regression terms, k=2k=2 so a simple linear model with intercept and one regressor) then f(x) as x0. These would be unique modes except in the unusual case where k=2 and n=3 (fitting a simple linear model to three points) which is bimodal at 0 and 1.

Mean

The question asked about the mode, but the mean of R2 under the null is also interesting - it has the remarkably simple form k1n1. For a fixed sample size it increases in arithmetic progression as more regressors are added to the model, until the mean value is 1 when k=n. The mean of a Beta distribution is αα+β so such an arithmetic progression was inevitable from our earlier observation that, for fixed n, the sum α+β is constant but α increases by 0.5 for each regressor added to the model.

αα+β=(k1)/2(k1)/2+(nk)/2=k1n1

Code for plots

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)
Silverfish
źródło
1
Really illuminating visualization. +1
Khashaa
Great addition, +1, thanks. I noticed that you call 0 a mode when the distribution goes to + when x0 (and nowhere else) -- something @Alecos above (in the comments) did not want to do. I agree with you: it is convenient.
amoeba says Reinstate Monica
1
@amoeba from the graphs we'd like to say "values around 0 are most likely" (or 1). But the answer of Alecos is also both self-consistent and consistent with many authorities (people differ on what to do about the 0 and 1 full stop, let alone whether they can count as a mode!). My approach to the mode differs from Alecos mostly because I use conditions on alpha and beta to determine where the formula is applicable, rather than taking my starting point as the formula and seeing which k and n give sensible answers.
Silverfish
1
(+1), this is a very meaty answer. By keeping k too close to n and both small, the question studies in detail, and so decisively, the case of really small samples with relatively too many and irrelevant regressors.
Alecos Papadopoulos
@amoeba You probably noticed that this answer furnishes an algebraic answer for why, for sufficiently large n, the mode of the distribution is 0 for k=3 but positive for k>3. Since f(x)x(k3)/2(1x)(nk2)/2 then for k=3 we have f(x)(1x)(n5)/2 which will clearly have mode at 0 for n>5, whereas for k=4 we have f(x)x1/2(1x)(n6)/2 whose maximum can be found by calculus to be the quoted mode formula. As k increases, the power of x rises by 0.5 each time. It's this xα1 factor which makes f(0)=0 so kills the mode at 0
Silverfish