W PCA, gdy liczba wymiarów jest większa (lub nawet równa) liczbie próbek N , dlaczego jest tak, że będziesz mieć co najwyżej N - 1 niezerowe wektory własne? Innymi słowy, pozycja macierzy kowariancji wśród wymiarów d ≥ N wynosi N - 1 .
Przykład: Twoje próbki to wektoryzowane obrazy o wymiarach , ale masz tylko N = 10 zdjęć.
pca
dimensionality-reduction
eigenvalues
GrokingPCA
źródło
źródło
Odpowiedzi:
Zastanów się, co robi PCA. Mówiąc najprościej, PCA (jak zwykle działa) tworzy nowy układ współrzędnych poprzez:
(Aby uzyskać więcej informacji, zapoznaj się z tym doskonałym wątkiem CV: Zrozumienie analizy głównych składników, wektorów własnych i wartości własnych .) Jednak nie tylko obraca się osiami w jakikolwiek stary sposób. Twój nowy (pierwszy główny składnik) jest zorientowany na maksymalne zróżnicowanie danych. Drugi główny składnik jest zorientowany w kierunku następnej największej zmiany, która jest prostopadła do pierwszego głównego składnikaX1 . Pozostałe główne elementy są również tworzone.
Mając to na uwadze, przeanalizujmy przykład @ amoeba . Oto macierz danych z dwoma punktami w trójwymiarowej przestrzeni:
Zobaczmy te punkty w (pseudo) trójwymiarowym wykresie rozrzutu:
źródło