Dlaczego mianownik estymatora kowariancji nie powinien być n-2, a nie n-1?

36

Mianownik (obiektywnego) estymatora wariancji jest ponieważ istnieje obserwacji i szacowany jest tylko jeden parametr.n1n

V(X)=i=1n(XiX¯)2n1

Z tego samego powodu zastanawiam się, dlaczego mianownik kowariancji nie powinien wynosić n2 gdy szacuje się dwa parametry?

Cov(X,Y)=i=1n(XiX¯)(YiY¯)n1
MYaseen208
źródło
15
Jeśli to zrobił, to masz dwie sprzeczne definicje dla wariancji: jeden byłby pierwszy formuła, a druga byłaby druga formuła stosowana z Y=X .
whuber
3
Średnia dwu / wielowymiarowa (oczekiwanie) to jeden, a nie 2 parametry.
ttnphns
14
@ttnphns To nieprawda: średnia dwuwymiarowa to oczywiście dwa parametry, ponieważ do jej wyrażenia potrzebne są dwie liczby rzeczywiste. (Rzeczywiście, jest to parametr pojedynczego wektora , ale powiedzenie o tym jedynie ukrywa fakt, że ma on dwa składniki). Widać to wyraźnie w stopniach swobody dla testów t wariancji puli, na przykład, gdzie 2 jest odejmowane, a nie 1 . Ciekawe w tym pytaniu jest to, w jaki sposób ujawnia ono, jak niejasne, bezwzględne i potencjalnie wprowadzające w błąd jest powszechne „wyjaśnienie”, które odejmujemy 1 od n ponieważ oszacowano jeden parametr.
whuber
@ whuber, masz rację. Gdyby tylko (niezależne obserwacje) miały znaczenie, nie wydalibyśmy więcej df na testy wielowymiarowe niż na testy jednowymiarowe. n
ttnphns
3
@whuber: Być może powiedziałbym, że pokazuje, że to, co liczy się jako „parametr” zależy od sytuacji. W tym przypadku wariancja jest obliczana na podstawie obserwacji,n a zatem każda obserwacja - lub całkowita średnia - może być postrzegana jako jeden parametr, nawet jeśli jest to średnia wielowymiarowa, jak powiedział ttnphns. Jednak w innych przypadkach, gdy np. Test uwzględnia liniowe kombinacje wymiarów, każdy wymiar każdej obserwacji staje się „parametrem”. Masz rację, że jest to trudna sprawa.
ameba mówi Przywróć Monikę

Odpowiedzi:

31

Kowariancje wariancjami.

Od tożsamości polaryzacji

Cov(X,Y)=Var(X+Y2)Var(XY2),

mianowniki muszą być takie same.

Whuber
źródło
20

Specjalny przypadek powinien dać ci intuicję; pomyśl o następujących kwestiach:

Cov^(X,X)=V^(X)

Cieszysz się, że ten ostatni to powodu Korekta Bessela.i=1n(XiX¯)2n1

Ale zastąpienie przez w dla pierwszego daje , więc jak myślisz, co może teraz najlepiej wypełnić puste miejsce?YXCov^(X,Y)i=1n(XiX¯)(XiX¯)mystery denominator

Silverfish
źródło
1
DOBRZE. Ale OP może zapytać: „dlaczego rozważać cov (X, X) i cov (X, Y) jako jedną linię logiczną? Dlaczego zamieniasz Y na X w cov () nieostro? Może cov (X, Y) jest inna sytuacja? ” Nie uniknąłeś tego, podczas gdy odpowiedź (bardzo pozytywnie oceniona) powinna mieć, moim
zdaniem
7

Szybka i brudna odpowiedź ... Rozważmy najpierw var(X) ; gdybyś miał n obserwacji o znanej oczekiwanej wartości E(X)=0 , użyłbyś aby oszacować wariancję.1ni=1nXi2

Ponieważ wartość oczekiwana jest nieznana, możesz przekształcić swoje obserwacji w n - 1 ze znaną wartością oczekiwaną, przyjmując A i = X i - X 1 dla i = 2 , , n . Otrzymasz wzór z n - 1 w mianowniku - jednak A i nie są niezależne i musisz to wziąć pod uwagę; na końcu znajdziesz zwykłą formułę.nn1Ai=XiX1i=2,,nn1Ai

Teraz dla kowariancji możesz zastosować ten sam pomysł: jeśli oczekiwana wartość wynosiła ( 0 , 0 ) , miałbyś 1(X,Y)(0,0) we wzorze. Odejmując(X1,Y1)od wszystkich innych obserwowanych wartości, otrzymujeszn-1obserwacji o znanej oczekiwanej wartości ... i11n(X1,Y1)n1 we wzorze - ponownie wprowadza to pewną zależność do wzięcia pod uwagę.1n1

PS sposobem na to jest wybranie ortonormalnej podstawy ( 1 , , 1 ) , czyli n - 1 wektorów c 1 , , c n - 1R n takich, że(1,,1)n1c1,,cn1Rn

  • dla wszystkich i ,jcij2=1i
  • dla wszystkich i ,jcij=0i
  • dla wszystkich i 1i 2 .jci1jci2j=0i1i2

Następnie można zdefiniować zmienne A i = j c i j X j oraz B i = j c i j Y j . Wartości ( A i , B i ) są niezależne, mają oczekiwaną wartość ( 0 , 0 ) i mają taką samą wariancję / kowariancję jak zmienne pierwotne.n1Ai=jcijXjBi=jcijYj(Ai,Bi)(0,0)

Chodzi o to, że jeśli chcesz pozbyć się nieznanego oczekiwania, porzucisz jedną (i tylko jedną) obserwację. Działa to tak samo w obu przypadkach.

Elvis
źródło
6

Oto dowód, że estymator kowariancji kowariancji p-variation próbki o mianowniku jest obiektywnym estymatorem macierzy kowariancji:1n1

.x=(x1,...,xp)

Σ=E((xμ)(xμ))

S=1n(xix¯)(xix¯)

To show: E(S)=n1nΣ

Proof: S=1nxixix¯x¯

Next:

(1) E(xixi)=Σ+μμ

(2) E(x¯x¯)=1nΣ+μμ

Therefore: E(S)=Σ+μμ(1nΣ+μμ)=n1nΣ

And so Su=nn1S, with the final denominator 1n1, is unbiased. The off-diagonal elements of Su are your individual sample covariances.

Additional remarks:

  1. The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.

  2. Step (1) and (2) use the fact that Cov(x)=E[xx]μμ

  3. Step (2) uses the fact that Cov(x¯)=1nΣ

statchrist
źródło
The difficulty being in step 2 ! :)
Elvis
@Elvis It's messy. One needs to apply the rule Cov(X+Y,Z)=Cov(X,Z) + Cov(Y,Z) and recognize that the different draws are independent. Then it's basically summing up the covariance n times and scaling it down by 1/n²
statchrist
4

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

Uditg_ucla
źródło
Could you elaborate on how this bears on the question of what denominator to use? The algebraic relation in evidence derives from the fact that the residuals relative to the mean sum to zero, but otherwise is silent about which denominator is relevant.
whuber
5
I came here because I had the same question as the OP. I think this answer gets at the nub of the point @whuber pointed out above: that the rule of thumb is that df ~= n - (parameters estimated) can be "vague, unrigorous, and potentially misleading." This points out the fact that though it looks like you need to estimate two parameters (xbar and ybar), you really only estimate one (xbar or ybar). Since the df should be the same in both cases, it must be the lower of the two. I think that is the intent here.
mpettis
1

1) Start df=2n.

2) Sample covariance is proportional to Σi=1n(XiX¯)(YiY¯). Lose two df; one from X¯, one from Y¯ resulting in df=2(n1).

3) However, Σi=1n(XiX¯)(YiY¯) only contains n separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

24=124=212=38=46=64=83=122=241,

and that does not include irrationals and fractions, e.g. 24=2626, so that when we multiply two number series together and examine their product, all we see are the df=n1 from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

(XiX¯)(YiY¯)=ziz¯ for some zi and z¯,

i.e., zi=XiYiX¯YiXiY¯, and, z¯=X¯Y¯. From the z's, which then clearly have df=n1, the covariance formula becomes

Σi=1nziz¯n1=

Σi=1n[(XiX¯)(YiY¯)]n1=

1n1Σi=1n(XiX¯)(YiY¯).

Thus, the answer to the question is that the df are halved by grouping.

Carl
źródło
@whuber How on earth did I get the same thing posted twice and deleted once? What gives? Can we get rid of one of them? For future reference, is there any way to permanently delete such duplicates? I have a few hanging around and it's annoying.
Carl
As far as I can tell, you reposted your answer from the duplicate to here. (Nobody else has the power to post answers in your name.) The system strongly discourages posting identical answers in multiple threads, so when I saw that, it convinced me these two threads are perfect duplicates and I "merged" them. This is a procedure that moves all comments and answers from the source thread to the target thread. I then deleted your duplicate post here in the target thread. It will remain permanently deleted, but will be visible to you as well as to people of sufficiently high reputation.
whuber
@whuber I didn't know what happens in a merge, that a merge was taking place or what many of the rules are, despite looking things up constantly. It takes time to learn, be patient, BTW, would you consider taking stats.stackexchange.com/questions/251700/… off of Hold?
Carl