PCA o korelacji lub kowariancji: czy PCA o korelacji ma kiedykolwiek sens? [Zamknięte]

W analizie głównych składników (PCA) można wybrać macierz kowariancji lub macierz korelacji, aby znaleźć składniki (z ich odpowiednich wektorów własnych). Dają one różne wyniki (obciążenia komputera i wyniki), ponieważ wektory własne między oboma macierzami nie są równe. Rozumiem, że jest to spowodowane faktem, że surowego wektora danych i jego standaryzacji nie można powiązać poprzez transformację ortogonalną. Matematycznie podobne macierze (tj. Powiązane przez transformację ortogonalną) mają te same wartości własne, ale niekoniecznie te same wektory własne.$X$$Z$

Rodzi to pewne trudności:

1. Czy PCA faktycznie ma sens, jeśli można uzyskać dwie różne odpowiedzi dla tego samego początkowego zestawu danych, obie próbują osiągnąć to samo (= znaleźć kierunki maksymalnej wariancji)?

2. Podczas korzystania z macierzy korelacji każda zmienna jest standaryzowana (skalowana) według własnego indywidualnego odchylenia standardowego przed obliczeniem komputerów PC. Jak zatem ma sens znalezienie kierunków maksymalnej wariancji, jeśli dane zostały wcześniej wcześniej skalowane / skompresowane w inny sposób? Wiem, że ta PCA oparta na korelacji jest bardzo wygodna (znormalizowane zmienne są bezwymiarowe, więc można dodawać ich kombinacje liniowe; inne zalety również oparte są na pragmatyzmie), ale czy to prawda?

Wydaje mi się, że PCA oparty na kowariancji jest jedyną naprawdę poprawną (nawet gdy wariancje zmiennych znacznie się różnią) i że ilekroć nie można użyć tej wersji, PCA również nie powinno być używane.

Wiem, że jest ten wątek: PCA o korelacji lub kowariancji? - ale wydaje się, że koncentruje się tylko na znalezieniu pragmatycznego rozwiązania, które może, ale nie musi być algebraicznie poprawne.

Mam nadzieję, że te odpowiedzi na twoje dwa pytania uspokoją twoją obawę:

1. Macierz korelacji jest macierzą kowariancji znormalizowanych (tj. Nie tylko wyśrodkowanych, ale także przeskalowanych) danych; to znaczy macierz kowariancji (jakby jakby) innego , innego zestawu danych. Jest to więc naturalne i nie powinno ci przeszkadzać, że wyniki różnią się.
2. Tak, sensowne jest znalezienie kierunków maksymalnej wariancji ze znormalizowanymi danymi - są to kierunki - że tak powiem - „korelacji”, a nie „kowariancji”; to znaczy po usunięciu wpływu nierównych wariancji - pierwotnych zmiennych - na kształt wielowymiarowej chmury danych.

Następny tekst i zdjęcia dodane przez @whuber (dziękuję mu. Zobacz także mój komentarz poniżej)

Oto dwuwymiarowy przykład pokazujący, dlaczego nadal warto lokalizować główne osie znormalizowanych danych (pokazane po prawej stronie). Zauważ, że na wykresie po prawej chmura nadal ma „kształt”, mimo że wariancje wzdłuż osi współrzędnych są teraz dokładnie równe (do 1,0). Podobnie w wyższych wymiarach znormalizowana chmura punktów będzie miała kształt niesferyczny, mimo że wariancje wzdłuż wszystkich osi są dokładnie równe (do 1,0). Główne osie (wraz z odpowiadającymi im wartościami własnymi) opisują ten kształt. Innym sposobem na zrozumienie tego jest zwrócenie uwagi, że całe przeskalowanie i przesunięcie, które ma miejsce podczas standaryzacji zmiennych, odbywa się tylko w kierunkach osi współrzędnych, a nie w głównych kierunkach.

To, co się tutaj dzieje, jest geometrycznie tak intuicyjne i jasne, że trudno byłoby scharakteryzować to jako „operację czarnej skrzynki”: wręcz przeciwnie, standaryzacja i PCA to jedne z najbardziej podstawowych i rutynowych rzeczy, które robimy z danymi w celu aby je zrozumieć.

Kontynuacja @ttnphns

Kiedy wolałbyś przeprowadzić PCA (lub analizę czynnikową lub inną podobną analizę) na korelacjach (tj. Na zmiennych standaryzowanych na Z) zamiast robić to na kowariancjach (tj. Na zmiennych wyśrodkowanych)?

1. Gdy zmienne są różnymi jednostkami miary. To jasne.
2. Gdy chce się, aby analiza odzwierciedlała tylko i wyłącznie powiązania liniowe . Pearsona r to nie tylko kowariancja między nieskalowanymi zmiennymi (wariancja = 1); nagle staje się miarą siły zależności liniowej, podczas gdy zwykły współczynnik kowariancji jest wrażliwy zarówno na stosunek liniowy, jak i monotoniczny.
3. Gdy chce się, aby skojarzenia odzwierciedlały względną współ dewiację (od średniej), a nie surową współ dewiację. Korelacja opiera się na rozkładach, ich spreadach, a kowariancja opiera się na oryginalnej skali pomiarowej. Gdybym miał przeanalizować profile psychopatologiczne pacjentów według oceny psychiatrów na jakimś kwestionariuszu klinicznym składającym się z przedmiotów typu Likerta, wolałbym kowariancje. Ponieważ od specjalistów nie oczekuje się intrapsychicznego zniekształcania skali ocen. Z drugiej strony, gdybym analizował autoportrety pacjentów za pomocą tego samego kwestionariusza, prawdopodobnie wybrałbym korelacje. Ponieważ oczekuje się, że ocena laika będzie względna „inni ludzie”, „większość” „dopuszczalne odchylenie” lupa, która „kurczy się” lub „rozciąga” skalę oceny dla jednego.

Mówiąc z praktycznego punktu widzenia - być może tutaj niepopularnego - jeśli masz dane mierzone w różnych skalach, przejdź do korelacji („skalowanie UV”, jeśli jesteś chemometrem), ale jeśli zmienne są w tej samej skali, a ich wielkość ma znaczenie (np. z danymi spektroskopowymi), wtedy kowariancja (tylko centrowanie danych) ma większy sens. PCA jest metodą zależną od skali, a także transformacja dziennika może pomóc przy mocno wypaczonych danych.

Moim skromnym zdaniem w oparciu o 20 lat praktycznego stosowania chemometrii musisz trochę poeksperymentować i zobaczyć, co najlepiej pasuje do twojego rodzaju danych. Na koniec dnia musisz być w stanie odtworzyć swoje wyniki i spróbować udowodnić przewidywalność swoich wniosków. Jak tam dotrzeć, często dochodzi do prób i błędów, ale najważniejsze jest to, że to, co robisz, jest udokumentowane i odtwarzalne.

Nie mam czasu na dokładniejszy opis szczegółowych i technicznych aspektów eksperymentu, który opisałem, a wyjaśnienia dotyczące sformułowań (polecanie, wydajność, optymalne) ponownie odciągnęłyby nas od prawdziwego problemu, jakim jest rodzaj danych wejściowych PCA może (nie) / powinna (nie) brać. PCA działa poprzez przyjmowanie liniowych kombinacji liczb (wartości zmiennych). Matematycznie oczywiście można dodać dowolne dwie (rzeczywiste lub złożone) liczby. Ale jeśli zostały one ponownie przeskalowane przed transformacją PCA, czy ich kombinacja liniowa (a zatem i proces maksymalizacji) jest nadal przydatna? Jeśli każda zmienna$x_i$ ma tę samą wariancję $s^2$, to oczywiście tak, ponieważ $(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$ jest nadal proporcjonalny i porównywalny z fizyczną superpozycją danych $x_1+x_2$samo. Ale jeśli$s_1\not =s_2$, wówczas liniowa kombinacja znormalizowanych wielkości zniekształca dane zmiennych wejściowych na różnestopnie. Wydaje się więc, że nie ma sensu maksymalizować wariancji ich kombinacji liniowej. W takim przypadku PCA daje rozwiązanie dla innego zestawu danych, w którym każda zmienna jest skalowana inaczej. Jeśli następnie później dostosujesz (używając corr_PCA), może to być OK i konieczne; ale jeśli weźmiesz surowe rozwiązanie corr_PCA w obecnej postaci i na tym poprzestaniesz, uzyskasz rozwiązanie matematyczne, ale nie związane z danymi fizycznymi. Ponieważ późniejsza standaryzacja wydaje się wówczas obowiązkowa jako minimum (tj. „Rozciąganie” osi przez odwrotne odchylenia standardowe), można było na początku użyć cov_PCA. Jeśli nadal czytasz, jestem pod wrażeniem! Na razie kończę cytowaniem z książki Jolliffe'a, str. 42, co dotyczy mnie: „Nie można jednak zapominać, że komputery z macierzą korelacji, po ponownym wyrażeniu w odniesieniu do zmiennych pierwotnych, nadal są liniowymi funkcjami x, które maksymalizują wariancję w odniesieniu do zmiennych znormalizowanych, a nie w odniesieniu do zmiennych pierwotnych. ” Jeśli uważasz, że źle interpretuję to lub jego konsekwencje, ten fragment może być dobrym punktem wyjścia do dalszej dyskusji.