Dlaczego ranga macierzy kowariancji wynosi co najwyżej

Jak stwierdzono w tym pytaniu, maksymalna ranga macierzy kowariancji wynosi $n-1$ gdzie $n$ jest rozmiarem próbki, a więc jeśli wymiar macierzy kowariancji jest równy wielkości próbki, byłby liczbą pojedynczą. Nie mogę zrozumieć, dlaczego mamy odjąć $1$ od maksymalnej rangi $n$ macierzy kowariancji.

Bezstronny estymator przykładowej macierzy kowariancji dla punktów danych x i ∈ R d wynosi C = $n$$\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$gdzie ˉ x =∑xi/njest średnią dla wszystkich punktów. Oznaczmy(xi- ˉ x )jako

$$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ $\bar \x = \sum \x_i /n$$(\x_i-\bar \x)$ . The$\newcommand{\z}{\mathbf z}\z_i$Współczynnik 1 nie zmienia rangi, a każdy termin w sumie ma (z definicji) rangę1, więc rdzeń pytania jest następujący:$\frac{1}{n-1}$$1$

Dlaczego mają stopień n - 1 , a nie stopień n , gdyż wydaje się, ponieważ jesteśmy zsumowanie n rank- 1 matryc?$\sum \z_i\z_i^\top$$n-1$$n$$n$$1$

Odpowiedź jest taka, że ​​dzieje się tak, ponieważ nie są niezależne. Z założenia ∑ z i = 0 . Więc jeśli wiesz, n - 1 z Z i wówczas jest to ostatni pozostały z n jest całkowicie zdeterminowany; nie sumujemy n niezależnych macierzy rangi- 1 , sumujemy tylko n - $\z_i$$\sum\z_i = 0$$n-1$$\z_i$$\z_n$$n$$1$$n-1$ niezależnych macierzy rangi , a następnie dodajemy jeszcze jedną macierz rangi 1 , która jest całkowicie liniowo określona przez resztę. Ten ostatni dodatek nie zmienia ogólnej rangi.$1$$1$

Możemy to zobaczyć bezpośrednio, jeśli przepisujemy jako z n = - n - 1 ∑ i = 1 z i , a teraz podłączamy to do powyższego wyrażenia: n ∑ i = 1 z i z ⊤ i = n - 1 ∑ i = 1 z i z ⊤ i + ( - n - 1 z i )$\sum\z_i = 0$

$$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ Teraz jest tylkon-1 $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ $n-1$ w sumie pozostało warunków i staje się jasne, że cała suma może mieć najwyżej rangę .$n-1$

Nawiasem mówiąc, wynik ten wskazuje, dlaczego czynnik w bezstronnym estymatorze kowariancji wynosi $\frac{1}{n-1}$ a nie .$\frac{1}{n}$

$n-1$$\bar \x$ jest równoważne centrowaniu w powyższym argumencie algebraicznym.

Uważam, że nieco krótsze wyjaśnienie wygląda następująco:

$n$$m$$x$$n$$m$ jest liczbą próbek dla każdej zmiennej. Załóżmy, że żadna ze zmiennych nie jest zależna liniowo.

$x$$min(n,m)$ .

$n$$m$$z$ zmiennych wyśrodkowanych rzędowo:

$z = x - E[x]$

$min(n,m-1)$ , ponieważ każdy wiersz danych podlega teraz ograniczeniom:

$\sum_{i=1}^{m}z_{*i} =0$ .

$z$ macierzy nawet jeśli jedna z kolumn jest usuwany.

$x$ staje się:

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$