Jak wizualizować, co robi analiza kanoniczna (w porównaniu z tym, co robi analiza głównych składowych)?

70

Kanoniczna analiza korelacji (CCA) jest techniką związaną z analizą głównych składników (PCA). Chociaż łatwo jest nauczyć się PCA lub regresji liniowej za pomocą wykresu punktowego (zobacz kilka tysięcy przykładów w wyszukiwaniu obrazów w Google), nie widziałem podobnego intuicyjnego dwuwymiarowego przykładu dla CCA. Jak wizualnie wyjaśnić, co robi liniowy CCA?

postać
źródło
1
W jaki sposób CCA uogólnia PCA? Nie powiedziałbym, że to jest jego uogólnienie. PCA działa z jednym zestawem zmiennych, CCA działa z dwoma (lub więcej, nowoczesnymi implementacjami), i to jest duża różnica.
ttnphns
2
Cóż, mówiąc ściśle powiązany może być lepszym wyborem słowa. W każdym razie PCA działa na macierzy kowariancji, a CCA na macierzy kowariancji krzyżowej. Jeśli masz tylko jeden zestaw danych, obliczenie jego kowariancji krzyżowych względem siebie kończy się na prostszym przypadku (PCA).
rysunek
4
Tak, „spokrewnione” jest lepsze. CCA uwzględnia zarówno między-kowariancje, jak i między-kowariancje.
ttnphns
1
Niektórzy sugerują wizualizację korelacji kanonicznych za pomocą heliografów. Możesz przeczytać artykuł ti.arc.nasa.gov/m/profile/adegani/Composite_Heliographs.pdf

Odpowiedzi:

97

Cóż, myślę, że naprawdę trudno jest przedstawić wizualne wyjaśnienie kanonicznej analizy korelacji (CCA) względem analizy głównych składników (PCA) lub regresji liniowej . Dwa ostatnie są często wyjaśniane i porównywane za pomocą wykresów punktowych 2D lub 3D, ale wątpię, czy jest to możliwe w przypadku CCA. Poniżej narysowałem zdjęcia, które mogą wyjaśnić istotę i różnice w trzech procedurach, ale nawet z tymi zdjęciami - które są reprezentacjami wektorowymi w „przestrzeni tematycznej” - występują problemy z odpowiednim uchwyceniem CCA. (Algebra / algorytm analizy korelacji kanonicznej znajduje się tutaj .)

Rysowanie jednostek jako punktów w przestrzeni, w której osie są zmienne, zwykły wykres rozproszenia, jest przestrzenią zmienną . Jeśli narysujesz odwrotnie - zmienne jako punkty i jednostki jako osie - będzie to przestrzeń tematyczna . Rysowanie wielu osi jest w rzeczywistości niepotrzebne, ponieważ przestrzeń ma liczbę nie nadmiarowych wymiarów równą liczbie zmiennych innych niż współliniowe. Punkty zmienne są powiązane z początkiem i tworzą wektory, strzałki, obejmujące przestrzeń tematyczną; więc oto jesteśmy ( patrz także ). W przestrzeni przedmiotowej, jeśli zmienne zostały wyśrodkowane, cosinus kąta między ich wektorami jest korelacją Pearsona między nimi, a kwadraty długości wektorów są ich wariancjami. Na poniższych zdjęciach wyświetlane zmienne są wyśrodkowane (nie ma potrzeby stałej).

Główne składniki

wprowadź opis zdjęcia tutaj

X1X2P1P2P1P2P1abbb12/(|P1||X2|)a

Wielokrotna regresja

wprowadź opis zdjęcia tutaj

YX1X2YYYXeYYYbbb2/|X2|

Korelacja kanoniczna

W PCA zestaw zmiennych sam się przewiduje: modelują główne komponenty, które z kolei modelują zmienne, nie pozostawiasz przestrzeni predyktorów i (jeśli używasz wszystkich komponentów) przewidywanie jest wolne od błędów. W regresji wielokrotnej zestaw zmiennych przewiduje jedną zmienną obcą, a zatem występuje błąd przewidywania. W CCA sytuacja jest podobna do regresji, ale (1) zewnętrzne zmienne są liczne, tworząc własny zestaw; (2) oba zestawy przewidują się jednocześnie (stąd korelacja zamiast regresji); (3) to, co przewidują w sobie nawzajem, to raczej ekstrakt, zmienna utajona, niż obserwowane przewidywanie regresji ( patrz także ).

wprowadź opis zdjęcia tutaj

Y1Y2XYVxVyYYYVxVyVyVxϕXYX1 X2Y1 Y2Vx(2)VxVy(2)Vy

Różnicę między regresją CCA i PCA + zobacz także Wykonywanie CCA vs. budowanie zmiennej zależnej za pomocą PCA, a następnie wykonywanie regresji .

ttnphns
źródło
3
+1 (sprzed kilku dni). Naprawdę mam nadzieję, że skończysz z ponad 6 głosami za to; to naprawdę świetny przegląd działania CCA.
gung
2
To bardzo pomaga mi w zrozumieniu CCA.
Zhenglei,
@Glen_b, byłem zaskoczony, tak bardzo zadowolony, że zdecydowałeś się przyznać nagrodę za tę odpowiedź.
ttnphns
1
@ttnphns, super. Chociaż nie wszystko zrozumiałem, jest to zdecydowanie najlepsze wytłumaczenie CCA, na jakie się natknąłem. I myślę, że naprawdę ważne jest, aby uzyskać obraz tego, co się dzieje, ponieważ wiem, że coś zapamiętam, jeśli uda mi się to wyobrazić, w przeciwieństwie do meandrowania przez różne twierdzenia.
Christian
P1X1X2
2

Dla mnie bardzo pomocne było przeczytanie w książce S. Mulaika „The Foundations of Factoranalysis” (1972), że istnieje metoda polegająca wyłącznie na rotacji macierzy ładunków czynnikowych w celu uzyskania korelacji kanonicznej, więc mógłbym zlokalizować w tym zestawie pojęć, które do tej pory zrozumiałem, od analizy głównych składników i analizy czynnikowej.

Być może interesuje Cię ten przykład (który przebudowałem z pierwszej implementacji / dyskusji około 1998 r. Kilka dni temu, aby sprawdzić i zweryfikować metodę pod kątem obliczeń przez SPSS). Zobacz tutaj . Korzystam z moich małych narzędzi matrycowych / pca Inside-[R]i Matmatedo tego, ale myślę, że można to odtworzyć Rbez większego wysiłku.

Gottfried Helms
źródło
2

Ta odpowiedź nie stanowi wizualnej pomocy w zrozumieniu CCA, jednak dobrą geometryczną interpretację CCA przedstawiono w rozdziale 12 Anderson-1958 [1]. Istota tego jest następująca:

Nx1,x2,...,xNpXp×NxiXp(N1)p1p2x1,...,xp1p2xp1+1,...,xp

Uważam tę perspektywę za interesującą z następujących powodów:

  • Zapewnia interesującą interpretację geometryczną dotyczącą wpisów zmiennych kanonicznych CCA.
  • Współczynniki korelacji są powiązane z kątem między dwoma rzutami CCA.
  • p1Np2N(N1)N

p1p2

(N1)Nmean(xi)=0

[1] Anderson, TW Wprowadzenie do wielowymiarowej analizy statystycznej. Vol. 2. New York: Wiley, 1958.

idnavid
źródło
1
Czy możesz dodać zdjęcia z tej książki, aby zwizualizować odpowiedź?
ttnphns
Niestety książka nie ma zdjęć do tego rozdziału (w rzeczywistości nie sądzę, żeby w całej książce były jakieś liczby).
idnavid
@ttnphns Spędziłem trochę czasu innego dnia i zebrałem mały przykład, aby zilustrować ten punkt. Dzieki za sugestie!
idnavid
1

Najlepszym sposobem na nauczanie statystyki są dane. Wielowymiarowe techniki statystyczne są często bardzo skomplikowane dzięki matrycom, które nie są intuicyjne. Wyjaśniłbym CCA za pomocą Excela. Utwórz dwie próbki, dodaj nowe warianty (w zasadzie kolumny) i pokaż obliczenia. Jeśli chodzi o konstrukcję macierzy CCA, najlepszym sposobem jest nauczenie najpierw przypadku dwuwymiarowego, a następnie jego rozwinięcie.

S Chapman
źródło