Mylić z wizualnym wyjaśnieniem wektorów własnych: w jaki sposób wizualnie różne zestawy danych mogą mieć te same wektory własne?

Wiele podręczników statystycznych zapewnia intuicyjną ilustrację tego, czym są wektory własne macierzy kowariancji:

wprowadź opis zdjęcia tutaj

Wektory u i z tworzą wektory własne (cóż, osie własne). To ma sens. Ale jedną rzeczą, która mnie myli, jest to, że wydobywamy wektory własne z macierzy korelacji , a nie z surowych danych. Ponadto surowe zestawy danych, które są całkiem różne, mogą mieć identyczne macierze korelacji. Na przykład następujące oba mają macierze korelacji:

[\begin{matrix} 1 & 0,97 \\ 0,97 & 1 \end{matrix}]

$\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right]$

Wektory własne

Jako takie mają wektory własne skierowane w tym samym kierunku:

[\begin{matrix} .71 & - .71 \\ .71 & .71 \end{matrix}]

$\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right]$

Ale jeśli zastosujesz tę samą wizualną interpretację kierunków, w których wektory własne znajdują się w surowych danych, otrzymasz wektory wskazujące w różnych kierunkach.

Czy ktoś może mi powiedzieć, gdzie popełniłem błąd?

Druga edycja : jeśli mogę być tak odważna, z doskonałymi odpowiedziami poniżej udało mi się zrozumieć zamieszanie i zilustrować je.

Wyjaśnienie wizualne jest zgodne z faktem, że wektory własne wyodrębnione z macierzy kowariancji są różne.

Kowariancje i wektory własne (czerwony):

$[\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix}] [\begin{matrix} .7 & - .72 \\ .72 & .7 \end{matrix}]$ $\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right]$
Kowariancje i wektory własne (niebieski):

$[\begin{matrix} .25 & .5 \\ .5 & 1 \end{matrix}] [\begin{matrix} .43 & - .9 \\ .9 & .43 \end{matrix}]$ $\left[\begin{array}{} .25 & .5 \\ .5 & 1\end{array}\right] \left[\begin{array}{} .43 & -.9 \\ .9 & .43\end{array}\right]$
Macierze korelacji odzwierciedlają macierze kowariancji znormalizowanych zmiennych. Kontrola wzrokowa standardowych zmiennych pokazuje, dlaczego w moim przykładzie wyodrębniono identyczne wektory własne:

wprowadź opis zdjęcia tutaj

correlation pca covariance-matrix eigenvalues Sue Doh Nimh
źródło

Jeśli chcesz ocenić korelację , musisz narysować swoje wykresy rozrzutu za pomocą skal, w których standardowe odchylenia składników są równe. Tak nie jest na żadnym z twoich zdjęć (z wyjątkiem być może czerwonych kropek na drugim), co może być jednym z powodów, dla których uważasz to za mylące.

whuber

Doceniam to, że zilustrowałeś swoje pytanie. To pomaga ludziom to zrozumieć i zwiększa wartość tego wątku do wykorzystania w przyszłości. Należy jednak pamiętać, że ~ 10% mężczyzn jest niewidomych na czerwono-zielony kolor. W 2 kolorach czerwony i niebieski mogą być bezpieczniejsze.

gung - Przywróć Monikę

Wielkie dzięki, poprawiłem kolory, jak zasugerowałeś

Sue Doh Nimh

Nie ma problemu, @SueDohNimh. Dziękujemy za uczynienie go zrozumiałym dla wszystkich. Z drugiej strony zatrzymałbym [PCA]tag. Jeśli chcesz ponownie skupić się na pytaniu lub zadać nowe (powiązane) pytanie i link do tego, to wydaje się być w porządku, ale myślę, że to pytanie jest wystarczająco PCA, aby zasługiwać na tag.

Gung - Przywróć Monikę

Dobra robota, @SueDohNimh. Możesz również dodać to jako odpowiedź na swoje pytanie zamiast edycji, jeśli chcesz.

gung - Przywróć Monikę

Nie musisz robić PCA ponad macierzą korelacji; możesz także rozłożyć macierz kowariancji. Zauważ, że zazwyczaj dają one różne rozwiązania. (Aby uzyskać więcej informacji na ten temat, patrz: PCA na temat korelacji lub kowariancji? )

${\rm Cov}_{xy} / {\rm SD}_x{\rm SD}_y$

Ponownie, jeśli wykonasz PCA z tymi grupami przy użyciu macierzy kowariancji, uzyskasz inny wynik niż w przypadku użycia macierzy korelacji.

gung - Przywróć Monikę
źródło

(1, 1)

$(1,1)$

(1, - 1)

$(1,-1)$

+1 do tego, co napisał @whuber, ale zauważ, że odpowiednie wartości własne zależą od wartości korelacji.

ameba

To prawda, ale wektory własne macierzy Cov mogą się różnić w zależności od korelacji.

gung - Przywróć Monikę

Cześć wszystkim, wielkie dzięki. Byłem świadomy, że różne wektory własne powstają w wyniku zastosowania macierzy kowariancji; było to kolejne źródło obaw, ponieważ zmartwiłem się, że zamiast tego stosując macierze korelacji, zmniejszam ilość wykorzystywanych informacji i dlatego jestem mniej dokładny. Czy na podstawie twoich odpowiedzi rozsądnie byłoby wyciągnąć wniosek, że podana interpretacja wizualna ma zastosowanie tylko do wektorów własnych macierzy kowariancji surowych danych, a nie do macierzy korelacji?

Sue Doh Nimh,

Nie bardzo, @SueDohNimh. Możesz użyć interpretacji wizualnej, po prostu najpierw ustandaryzuj zmienne, jeśli chcesz użyć macierzy korelacji.

gung - Przywróć Monikę

Mylić z wizualnym wyjaśnieniem wektorów własnych: w jaki sposób wizualnie różne zestawy danych mogą mieć te same wektory własne?

Odpowiedzi: