Miara „wariancji” z macierzy kowariancji?

Jeśli dane mają wartość 1d, wariancja pokazuje stopień, w jakim punkty danych różnią się od siebie. Jeśli dane są wielowymiarowe, otrzymamy macierz kowariancji.

Czy istnieje miara, która podaje pojedynczą liczbę różnic między punktami danych w przypadku danych wielowymiarowych?

Wydaje mi się, że może już istnieć wiele rozwiązań, ale nie jestem pewien, jakiego terminu należy użyć do ich wyszukiwania.

Może mogę zrobić coś takiego jak zsumowanie wartości własnych macierzy kowariancji, czy to brzmi sensownie?

(Poniższa odpowiedź jedynie wprowadza i stwierdza twierdzenie udowodnione w [0]. Piękno tego artykułu polega na tym, że większość argumentów jest oparta na podstawowej algebrze liniowej. Aby odpowiedzieć na to pytanie, wystarczy podać główne wyniki, ale zdecydowanie sprawdź oryginalne źródło).

W każdej sytuacji, w której wielowymiarowy wzorzec danych można opisać przez zmienny rozkład eliptyczny, wnioskowanie statystyczne z definicji sprowadza się do problemu dopasowania (i scharakteryzowania)$k$wektora zmiennej lokalizacji k (powiedzmy θ ) i k przez k symetryczna pół-dodatnia określona macierz (powiedzmy Σ ) do danych. Z powodów, które wyjaśnię poniżej (ale które już zakładasz jako przesłanki), często bardziej sensowne będzie rozłożenie Σ na komponent kształtu (macierz SPSD o tym samym rozmiarze co Σ ) uwzględniający kształt konturów gęstości twojego rozkładu wielowymiarowego i skalar σ $k$$\boldsymbol\theta$$k$$k$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\sigma_S$ wyrażanie skali tych konturów.

W danych jednowymiarowych ( ) Σ macierz kowariancji danych jest skalarem i, jak wynika z poniższej dyskusji, komponent kształtu Σ wynosi 1, tak że Σ równa się jego składowej skali Σ = σ S zawsze i nie jest możliwa dwuznaczność.$k=1$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma=\sigma_S$

W danych wielowymiarowych możliwy jest duży wybór funkcji skalowania Jeden w szczególności ( σ S = | $\sigma_S$ ) wyróżnia się kluczową pożądaną właściwością. To powinno sprawić, że będzie to preferowany wybór współczynnika skalowania w kontekście rodzin eliptycznych.$\sigma_S=|\pmb\varSigma|^{1/k}$

---

Wiele problemów w statystyce MV wiąże się z oszacowaniem macierzy rozproszenia, zdefiniowanej jako funkcja (al) symetryczna pół dodatnia określona w R k × k i spełniająca:$\boldsymbol\varSigma$$\mathbb{R}^{k\times k}$

(dla macierzy niespecyficznych A i wektorów b ). Na przykład klasyczne oszacowanie kowariancji spełnia (0), ale w żadnym wypadku nie jest jedyne.

$$(0)\quad\boldsymbol\varSigma(\boldsymbol A\boldsymbol X+\boldsymbol b)=\boldsymbol A\boldsymbol\varSigma(\boldsymbol X)\boldsymbol A^\top$$ $\boldsymbol A$$\boldsymbol b$

W obecności eliptycznych danych rozproszonych, gdzie wszystkie kontury gęstości są elipsami zdefiniowanymi przez tę samą macierz kształtu, aż do pomnożenia przez skalar, naturalne jest rozważenie znormalizowanych wersji formy:$\boldsymbol\varSigma$

$$\boldsymbol V_S = \boldsymbol\varSigma / S(\boldsymbol\varSigma)$$

gdzie jest 1-honogeniczną funkcją spełniającą:$S$

$$(1)\quad S(\lambda \boldsymbol\varSigma)=\lambda S(\boldsymbol\varSigma)$$

dla wszystkich . Następnie V S nazywany jest składnikiem kształtu macierzy rozrzutu (w krótkiej macierzy kształtu), a σ S = S 1 $\lambda>0$$\boldsymbol V_S$nazywa się składnik skalę matrycy rozproszenia. Przykłady problemów estymacji wielowymiarowej, w których funkcja straty zależy tylko odΣpoprzez składową kształtu V S, obejmują między innymi testy sferyczności, PCA i CCA.$\sigma_S=S^{1/2}(\boldsymbol\varSigma)$$\boldsymbol\varSigma$$\boldsymbol V_S$

Oczywiście istnieje wiele możliwych funkcji skalowania, więc wciąż pozostaje pytanie, co (jeśli w ogóle) z kilku wyborów funkcji normalizacji jest w pewnym sensie optymalne. Na przykład:$S$

• (na przykład ten zaproponowany przez @amoeba w jego komentarzu poniżej pytania PO. Zobacz także [1], [2], [3])$S=\text{tr}(\boldsymbol\varSigma)/k$
• ([4], [5], [6], [7], [8])$S=|\boldsymbol\varSigma|^{1/k}$
• (pierwszy wpis w macierzy kowariancji)$\boldsymbol\varSigma_{11}$
• (pierwsza wartość własna Σ )$\lambda_1(\boldsymbol\varSigma)$$\boldsymbol\varSigma$

Jednak jest jedyną funkcją skalowania, dla której macierz informacji Fishera dla odpowiednich oszacowań skali i kształtu, w lokalnie asymptotycznie normalnych rodzinach, ma przekątną blokową (tzn. Składowe skali i kształtu problemu estymacji są asymptotycznie ortogonalne) [0 ]. Oznacza to między innymi, że funkcjonalna skala S = | Σ | 1 / k jest jedynym wyborem $S=|\boldsymbol\varSigma|^{1/k}$$S=|\boldsymbol\varSigma|^{1/k}$$S$ , dla których zakaz specyfikacja nie powoduje utraty wydajności podczas wykonywania wnioskowanie na V S .$\sigma_S$$\boldsymbol V_S$

Nie znam żadnej porównywalnie silnej charakterystyki optymalizacyjnej dla któregokolwiek z wielu możliwych wyborów które spełniają (1).$S$

• [0] Paindaveine, D., Kanoniczna definicja kształtu, Statystyki i listy prawdopodobieństwa, Tom 78, Wydanie 14, 1 października 2008, Strony 2240-2247. Nieanglowany link
• [1] Dumbgen, L. (1998). O funkcji Tylera w funkcji rozpraszania w dużym wymiarze, Ann. Inst. Statystyk. Matematyka 50, 471–491.
• [2] Ollila, E., TP Hettmansperger i H. Oja (2004). Affine ekwiwariantne metody znakowania wielowymiarowego. Preprint, University of Jyvaskyla.
• [3] Tyler, DE (1983). Właściwości dotyczące odporności i wydajności matryc rozpraszających, Biometrika 70, 411–420.
• [4] Dumbgen, L. i DE Tyler (2005). W sprawie właściwości podziału niektórych wielowymiarowych M-funkcjonałów, Scand. J. Statist. 32, 247–264.
• [5] Hallin, M. i D. Paindaveine (2008). Optymalne, oparte na rangach testy jednorodności rozproszenia, Ann. Statist., Aby się pojawić.
• [6] Salibian-Barrera, M., S. Van Aelst i G. Willems (200 6). Analiza głównych składników na podstawie wielowymiarowych estymatorów MM z szybkim i solidnym bootstrapem, J. Amer. Statystyk. Dr hab. 101, 1198–1211.
• [7] Taskinen, S., C. Croux, A. Kankainen, E. Ollila i H. O ja (2006). Funkcje wpływu i wydajności korelacji kanonicznej i estymaty wektorowe oparte na macierzach rozproszenia i kształtu, J. Multivariate Anal. 97, 359–384.
• [8] Tatsuoka, KS i DE Tyler (2000). O wyjątkowości funkcjonałów S i funkcjonałów M w nieeleptycznych rozkładach, Ann. Statystyk. 28, 1219–1243.

Wariancja zmiennej skalarnej jest zdefiniowana jako kwadratowe odchylenie zmiennej od jej średniej:

$$\operatorname{Var}(X) = \operatorname E\left[\left(X - \operatorname E\left[X\right]\right)^2\right]$$

Jedno uogólnienie na wariancję skalarną dla zmiennych losowych o wartości wektorowej można uzyskać, interpretując odchylenie jako odległość euklidesową :

$$\operatorname{Var_s}(\mathbf X) = \operatorname E\left[\left\|\mathbf X - \operatorname E\left[\mathbf X\right]\right\|_2^2\right]$$

To wyrażenie może zostać przepisane jako

$$\begin{array}{rcl} \operatorname{Var_s}(\mathbf X) & = & \operatorname E[(\mathbf X - \operatorname E[\mathbf X ])\cdot(\mathbf X - \operatorname E[\mathbf X ])] \\ & = & \operatorname E\left[\sum_{i=1}^n(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname E\left[(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname{Var}(X_i) \\ & = & \sum_{i=1}^n C_{ii} \end{array}$$

gdzie jest macierzą kowariancji. Wreszcie można to uprościć$\mathbf{C}$

$$\operatorname{Var_s}(X) = \operatorname{tr}(\mathbf{C})$$

który jest śladem macierzy kowariancji.

Chociaż ślad macierzy kowariancji, tr (C) , daje miarę całkowitej wariancji, nie uwzględnia korelacji między zmiennymi.

Jeśli potrzebujesz miary ogólnej wariancji, która jest duża, gdy twoje zmienne są od siebie niezależne, i jest bardzo mała, gdy zmienne są silnie skorelowane, możesz użyć wyznacznika macierzy kowariancji, | C | .

Aby dowiedzieć się więcej, zapoznaj się z tym artykułem .

Jeśli potrzebujesz tylko jednej liczby, sugeruję największą wartość własną macierzy kowariancji. Jest to również wyjaśniona odmiana pierwszego głównego składnika PCA. Mówi ci, ile całkowitej wariancji można wytłumaczyć, jeśli zredukujesz wymiar wektora do jednego. Zobacz tę odpowiedź na stronie matematyki SE.

Chodzi o to, aby zwinąć wektor w jeden wymiar, łącząc wszystkie zmienne liniowo w jedną serię. Kończy się problem 1d.

Wyjaśnioną wariancję można podać w procentach do całkowitej wariancji. W takim przypadku natychmiast zobaczysz, czy istnieje szereg liniowej korelacji między seriami. W niektórych zastosowaniach liczba ta może wynosić 80% i więcej, np. Modelowanie krzywej stóp procentowych w finansach. Oznacza to, że możesz zbudować liniową kombinację zmiennych, która wyjaśnia 80 wariancji wszystkich zmiennych.

Koncepcja entropii z teorii informacji wydaje się pasować do celu, jako miara nieprzewidywalności treści informacyjnej, którą podaje

$$H(X)=-\int p(x)\log p(x) dx.$$

Jeśli przyjmiemy wielowymiarowy rozkład Gaussa dla $p(x)$ ze średnim $\mu$ i kowariancja $\Sigma$na podstawie danych, według wikipedii , entropia różnicowa jest wtedy,

$$H(X)=\frac{1}{2}\log((2\pi e)^n\det(\Sigma))$$ where $n$ is the number of dimensions. Since multivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

And it depends on the determinant of the covariance matrix, as @user603 suggests.