Czy CCA między dwoma identycznymi zestawami danych jest równoważne PCA w tym zestawie danych?

Czytanie Wikipedii o kanonicznej analizie korelacji (CCA) dla dwóch losowych wektorów $X$ i $Y$ , Zastanawiałem się, czy odpowiedź głównego składnika (PCA) jest taka sama jak CCA, kiedy $X=Y$ ?

pca multivariate-analysis canonical-correlation Tim
źródło

Wyjaśnij to bardziej: 1) vectors X and YCzy to dwie zmienne (kolumny danych) lub dwa przypadki (wiersze); biorąc pod uwagę, że przeprowadzimy analizy zmiennych. 2) X and Y are the sameCzy chcesz powiedzieć, że X = Y lub w inny sposób?

ttnphns

@ttnphns: 1)

X

$X$ i

Y

$Y$ to dwa losowe wektory. Są to dwa wektory zmiennych losowych, dwa zestawy kolumn danych, a nie dwa przypadki (wiersze). 2)

X = Y

$X=Y$ .

Tim

Jeśli każdy zestaw składa się z jednej zmiennej, istnieje jedna korelacja kanoniczna, która jest dokładnie r Pearsona między nimi; a CCA staje się regresją liniową X przez Y i odwrotnie. Rozkład tego r za pomocą PCA to nieco inna historia. PCA i CCA to różne analizy.

ttnphns

Cześć, @Tim, zastanawiam się, czy moja odpowiedź była przydatna, czy może nadal masz jakieś pytania? Jeśli tak, chętnie to wyjaśnię.

ameba

@amoeba: Tak, to prawda. Nie mam teraz dalszych pytań i przeczytam twoją odpowiedź później. Dziękuję za odpowiedź. + 1

Tim

Odpowiedzi:

Pozwolić $\bf X$ być $n\times p_1$ i $\bf Y$ być $n \times p_2$ macierze danych, reprezentujące dwa zestawy danych z $n$ próbki (tj. obserwacje losowych wektorów wierszy $X$ i $Y$ ) w każdym z nich.

CCA szuka liniowej kombinacji $p_1$ zmienne w $\bf X$ i liniowa kombinacja $p_2$ zmienne w $\bf Y$ tak, że są maksymalnie skorelowane między sobą; następnie szuka następnej pary, pod warunkiem zerowej korelacji z pierwszą parą; itp.

W razie $\mathbf{X} = \mathbf{Y}$ (i $p_1=p_2 = p$ ), dowolna kombinacja liniowa w jednym zbiorze danych będzie trywialnie korelowana $1$ z tą samą kombinacją liniową w innym zbiorze danych. Więc wszystkie pary CCA będą miały korelacje $1$ , a kolejność par jest dowolna. Jedynym pozostałym ograniczeniem jest to, że kombinacje liniowe powinny być nieskorelowane między sobą. Istnieje nieskończona liczba sposobów wyboru $p$ nieskorelowane kombinacje liniowe (zauważ, że wagi nie muszą być ortogonalne w $p$ -wymiarowa przestrzeń) i każda z nich wygeneruje prawidłowe rozwiązanie CCA. Jednym z takich sposobów jest rzeczywiście PCA, ponieważ dowolne dwa komputery mają zerową korelację.

Tak więc rozwiązanie PCA rzeczywiście będzie poprawnym rozwiązaniem CCA, ale w tym przypadku istnieje nieskończona liczba równorzędnie dobrych rozwiązań CCA.

Matematycznie CCA szuka właściwego ( $\mathbf a$ ) i lewo ( $\mathbf b$ ) wektory pojedyncze $\mathbf C_{XX}^{-1/2} \mathbf C_{XY} \mathbf C_{YY}^{-1/2}$ , co w tym przypadku jest równe $\mathbf I$ , przy czym każdy wektor jest wektorem własnym. Więc $\mathbf a=\mathbf b$ może być dowolny. CCA otrzymuje następnie liniowe wagi kombinacji jako $\mathbf C_{XX}^{-1/2} \mathbf a$ i $\mathbf C_{YY}^{-1/2} \mathbf b$ . W tym przypadku sprowadza się to do przyjęcia arbitralnej podstawy i przekształcenia jej $\mathbf C_{XX}^{-1/2}$ , które rzeczywiście wygenerują nieskorelowane kierunki .

ameba
źródło