Czy jądro PCA z jądrem liniowym jest równoważne standardowemu PCA?

Jeśli w jądrze PCA wybiorę liniowe jądro , czy wynik będzie inny niż zwykły liniowy PCA ? Czy rozwiązania są zasadniczo różne, czy istnieje jakaś dobrze zdefiniowana relacja?$K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

Podsumowanie: jądro PCA z liniowym jądrem jest dokładnie równoważne standardowemu PCA.

Niech $\mathbf{X}$ będzie wyśrodkowaną macierzą danych o rozmiarze $N \times D$ ze zmiennymi $D$ w kolumnach i punktami danych w rzędach. Następnie macierz kowariancji jest podawana przez , jej wektory własne to główne osie, a wartości własne to wariancje PC. W tym samym czasie, można wziąć pod uwagę tak zwane bakterie Gram matrycy o wielkości. Łatwo zauważyć, że ma te same wartości własne (tj. Wariancje PC) aż do współczynnika , a jego wektory własne są głównymi składnikami skalowanymi do normy jednostkowej.D × D X ⊤ X / ( n - 1 ) X X ⊤ N × N n - $N$$D \times D$$\mathbf{X}^\top\mathbf{X}/(n-1)$$\mathbf{X}\mathbf{X}^\top$$N \times N$$n-1$

To był standardowy PCA. Teraz w jądrze PCA rozważamy funkcję która odwzorowuje każdy punkt danych na inną przestrzeń wektorową, która zwykle ma większą wymiarowość , być może nawet nieskończoną. Ideą jądra PCA jest wykonanie standardowego PCA w tej nowej przestrzeni.D n e $\phi(x)$$D_\mathrm{new}$

Ponieważ wymiarowość tej nowej przestrzeni jest bardzo duża (lub nieskończona), obliczenie macierzy kowariancji jest trudne lub niemożliwe. Możemy jednak zastosować drugie podejście do PCA opisane powyżej. W istocie, bakterie Gram matryca będzie nadal te same opanowania wielkości. Elementy tej macierzy podane są przez , który nazwiemy funkcją jądra . Jest to tak zwana sztuczka jądra : tak naprawdę nie trzeba nigdy obliczać , ale tylko . Wektory własne tej macierzy Gram będą głównymi składnikami w przestrzeni docelowej, tymi, którymi jesteśmy zainteresowani.ϕ ( x i ) ϕ ( x j ) K ( x i , x j ) = ϕ ( x i$N \times N$$\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$$K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$$\phi()$$K()$

Odpowiedź na twoje pytanie staje się teraz oczywista. Jeśli , to gramatyka jądra zmniejsza się do która jest równa standardowej macierzy Gram , a zatem główne składniki nie ulegną zmianie.$K(x,y)=\mathbf{x}^\top \mathbf{y}$$\mathbf{X} \mathbf{X}^\top$

Bardzo czytelnym odniesieniem są Scholkopf B, Smola A i Müller KR, Analiza głównych składników jądra, 1999 , i zauważ, że np. Na rycinie 1 wyraźnie odnoszą się do standardowego PCA jako tego, który używa produktu kropkowego jako funkcji jądra:

$X$$N \times D$$D$$N$$X = U \Sigma V^\top$$U$$X$$XX^\top = U \Sigma^2 U^\top$ ma te same lewe wektory pojedyncze, a więc te same główne składniki.

Wydaje mi się, że KPCA z liniowym jądrem powinien być taki sam jak prosty PCA.

Macierz kowariancji, z której otrzymamy wartości własne, jest taka sama:

Możesz sprawdzić więcej szczegółów tutaj .