Czy rozwiązania PCA są wyjątkowe?

12

Czy po uruchomieniu PCA na określonym zestawie danych rozwiązanie jest dla mnie wyjątkowe?

To znaczy, otrzymuję zestaw współrzędnych 2d na podstawie odległości między punktami. Czy można znaleźć co najmniej jeszcze jeden układ punktów, który spełniałby te ograniczenia?

Jeśli odpowiedź brzmi „tak”, jak mogę znaleźć tak różne rozwiązanie?

pca raygozag
źródło

11

Odpowiedź na pytanie dotyczące wyjątkowości brzmi „tak” i „nie”. Jest „tak” w tym sensie, że przestrzenie własne i wartości własne są matematycznie dobrze i jednoznacznie zdefiniowane. W tym sensie „nie” oznacza, że (a) istnieje wiele sposobów reprezentowania tych przestrzeni własnych (nawet znormalizowany wektor własny można negować i istnieje wiele możliwości wyboru podstaw dla zdegenerowanych przestrzeni własnych) i (b) różne algorytmy mogą dawać wyniki, które różnią się z powodu kumulacji błędu zmiennoprzecinkowego w obliczeniach.

whuber

Ramsay i Silverman w książce „Analiza danych funkcjonalnych” wspominają o rotacji VARIMAX. Mówisz o podziale zestawu danych funkcji (przedstawionych jako macierz) na jego podstawowe składniki.

moc

Wygląda na to, że chcesz użyć PCA jako narzędzia do zmniejszania wymiarów. Możesz zacząć od spojrzenia na redukcję wymiarów ...

Elvis

7

Nie, odpowiedź nie jest unikalna. Istnieje wiele sposobów na pokazanie tego. Jedną z możliwości jest zauważenie, że rozkład widmowy kwadratu przez macierz jest rozwiązaniem dla maksymalizacji funkcji wypukłej . Rozważ pierwszy wektor własny / wartość: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(gdzie jest pierwszą wartością własną, a pierwszym wektorem własnym). $\lambda_1$ $w^*$

Rozwiązanie takich problemów (np. Wartości osiągnięciu tego maksimum) na ogół nie są wyjątkowe. $w$

Jednak algorytmy obliczania tych rozwiązań są deterministyczne, co oznacza, że oprócz numerycznych przypadków narożnych rozwiązania, które otrzymujesz, powinny być takie same.

Przykład takich liczbowych przypadków narożnych: przypadki, w których kilka wartości własnych jest (liczbowo) takich samych, przypadki, w których ma niedobór rangi ... $X$

użytkownik603
źródło

7

Nie zauważono jeszcze tego, że po prostu odwrócenie znaku komputera daje inne rozwiązanie. To znaczy, jeśli jest tym głównym składnikiem, to jest również rozwiązaniem tego głównego elementu. Powodowało to wcześniej zamieszanie, zwłaszcza gdy komputer wysyła naprzemiennie komputery PC. Zobacz to pytanie . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

Cam.Davidson.Pilon
źródło

3

Ciekawe praktyczne zastosowanie tej dwuznaczności znajduje się na stronie stats.stackexchange.com/questions/34396 . (BTW, odwrócenie znak został zauważył: patrz pierwszy komentarz do tej kwestii.)

whuber

Czy rozwiązania PCA są wyjątkowe?

Odpowiedzi: