Ładunki a wektory własne w PCA: kiedy używać jednego lub drugiego?

W analizie głównego składnika (PCA) otrzymujemy wektory własne (wektory jednostkowe) i wartości własne. Teraz zdefiniujmy ładunki jako

Wiem, że wektory własne to tylko kierunki, a obciążenia (jak zdefiniowano powyżej) obejmują również wariancję wzdłuż tych kierunków. Ale dla lepszego zrozumienia chciałbym wiedzieć, gdzie powinienem używać ładunków zamiast wektorów własnych? Przykład byłby idealny!

Zasadniczo widziałem tylko osoby używające wektorów własnych, ale co jakiś czas używają ładunków (jak zdefiniowano powyżej), a potem mam wrażenie, że tak naprawdę nie rozumiem różnicy.

W PCA dzielisz macierz kowariancji (lub korelacji) na część skali (wartości własne) i część kierunkową (wektory własne). Następnie możesz wyposażyć wektory własne w skalę: ładunki . Tak więc ładunki stają się w ten sposób porównywalne pod względem wielkości z kowariancjami / korelacjami zaobserwowanymi między zmiennymi, - ponieważ to, co zostało wyciągnięte z kowariancji zmiennych, teraz powraca - w postaci kowariancji między zmiennymi a głównymi składnikami. W rzeczywistości ładunki to kowariancje / korelacje między oryginalnymi zmiennymi a komponentami skalowanymi jednostkowo . Ta odpowiedź pokazuje geometrycznie, jakie są obciążenia i jakie są współczynniki kojarzące komponenty ze zmiennymi w PCA lub analizie czynnikowej.

Ładunki :

1. Pomagają interpretować główne elementy lub czynniki; Ponieważ są to liniowe wagi kombinacji (współczynniki), w których komponenty lub współczynniki w skali jednostki definiują lub „ładują” zmienną .

   (Wektor własny to tylko współczynnik ortogonalnej transformacji lub projekcji, jest on pozbawiony „obciążenia” w ramach swojej wartości. „Obciążenie” to (informacja o wielkości) wariancji, wielkości. Komputery PC są wyodrębniane w celu wyjaśnienia wariancji zmiennych. Wartości własne są wariancje (= wyjaśnione przez) komputerów PC. Kiedy pomnożymy wektor własny przez root sqs wartości eivenvalue, „ładujemy” goły współczynnik przez ilość wariancji. Dzięki tej wartości współczynnik ten jest miarą asocjacji , co- zmienność.)

2. Obciążenia są czasem „obracane” (np. Varimax), aby ułatwić interpretację ( patrz także );

3. To ładunki „przywracają” pierwotną macierz kowariancji / korelacji (patrz także ten wątek omawiający niuanse PCA i FA w tym zakresie);

4. Podczas gdy w PCA można obliczyć wartości składników zarówno z wektorów własnych, jak i obciążeń, w analizie czynnikowej oblicza się wyniki czynników na podstawie obciążeń .

5. A przede wszystkim matryca ładująca ma charakter informacyjny: jej pionowe sumy kwadratów są wartościami własnymi, wariancjami komponentów, a poziome sumy kwadratów są częściami wariancji zmiennych „wyjaśnianych” przez komponenty.

6. Obciążenie przeskalowane lub znormalizowane to obciążenie podzielone przez st. Zmiennej odchylenie; to jest korelacja. (Jeśli twój PCA jest oparty na korelacji PCA, ładowanie jest równe przeskalowanemu, ponieważ PCA oparty na korelacji jest PCA dla zmiennych standaryzowanych.) Skalowane ładowanie kwadratowe ma znaczenie wkładu pr. komponent do zmiennej; jeśli jest wysoki (blisko 1), zmienna jest dobrze zdefiniowana przez sam ten komponent.

Przykład obliczeń wykonanych w PCA i FA do zobaczenia .

Wektory własne są ładunkami skalowanymi jednostkowo; i są to współczynniki (cosinus) transformacji ortogonalnej (rotacji) zmiennych na główne składowe lub odwrotnie. Dlatego łatwo jest obliczyć z nimi wartości komponentów (niestandaryzowane). Poza tym ich użycie jest ograniczone. Kwadratowa wartość wektora własnego ma znaczenie udziału zmiennej w pr. składnik; jeśli jest wysoki (blisko 1), składnik jest dobrze zdefiniowany przez samą zmienną.

Chociaż wektory własne i ładunki są po prostu dwoma różnymi sposobami normalizacji współrzędnych tych samych punktów reprezentujących kolumny (zmienne) danych na biplocie , nie jest dobrym pomysłem mieszanie tych dwóch terminów. Ta odpowiedź wyjaśniła dlaczego. Zobacz także .

Wydaje się, że istnieje duże zamieszanie dotyczące obciążeń, współczynników i wektorów własnych. Ładunki słów pochodzą z analizy czynnikowej i odnoszą się do współczynników regresji macierzy danych do czynników. Nie są to współczynniki definiujące czynniki. Zobacz na przykład Mardia, Bibby i Kent lub inne podręczniki statystyki na wielu odmianach.

W ostatnich latach ładowanie słów było używane do wskazania współczynników PC. Tutaj wydaje się, że służyło do wskazywania współczynników pomnożonych przez sqrt wartości własnych macierzy. Nie są to ilości powszechnie stosowane w PCA. Główne składniki są zdefiniowane jako suma zmiennych ważonych współczynnikami normy jednostkowej. W ten sposób komputery PC mają normę równą odpowiedniej wartości własnej, która z kolei jest równa wariancji wyjaśnionej przez składnik.

W analizie czynnikowej czynniki muszą mieć normę jednostkową. Ale FA i PCA są zupełnie inne. Obracanie współczynnika PC jest bardzo rzadkie, ponieważ niszczy optymalność komponentów.

W FA czynniki nie są jednoznacznie zdefiniowane i można je oszacować na różne sposoby. Ważnymi wielkościami są ładunki (te prawdziwe) i społeczności, które są używane do badania struktury macierzy kowariancji. PCA lub PLS powinny być stosowane do oszacowania składników.

In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as 

Ładunki = wektory własne ortonormalne⋅ Pierwiastek kwadratowy z (bezwzględne wartości własne) W tym przypadku wektory własne ortonormalne (tj. Określenie wektory własne ortonormalne) zapewniają kierunek, a wartość pierwiastek kwadratowy z (wartości własne bezwzględne).

Zwykle ludzie mówią, że znaki w ładunkach nie mają znaczenia, ale ich wielkość jest ważna. Ale jeśli odwrócimy kierunek jednego wektora własnego (zachowując znak innych wektorów własnych, ponieważ są), wówczas wyniki czynnikowe zostaną zmienione. Dlatego na dalszą analizę wpłynie to znacząco.

Do tej pory nie mogłem znaleźć zadowalającego rozwiązania tej dwuznaczności.

Wydaje się, że istnieje pewne zamieszanie w tej sprawie, dlatego przedstawię kilka spostrzeżeń i wskazówkę, gdzie w literaturze można znaleźć doskonałą odpowiedź.

Po pierwsze, PCA i analiza czynnikowa (FA) są powiązane. Zasadniczo główne składniki są z definicji ortogonalne, podczas gdy czynniki - analogiczny byt w FA - nie są. Mówiąc najprościej, główne komponenty obejmują przestrzeń czynników w arbitralny, ale niekoniecznie użyteczny sposób, ponieważ pochodzą z czystej analizy danych. Czynniki z drugiej strony reprezentują byty świata rzeczywistego, które są przypadkowe tylko ortogonalne (tj. Nieskorelowane lub niezależne).

Powiedzieć bierzemy s obserwacje z każdego l przedmiotów. Można je ułożyć w macierz danych D, mającą s wierszy i l kolumn. D można rozkładać na macierz S oceny i macierz obciążenia L tak, że D = SL . S będzie miał s wierszy i L będzie mieć l kolumny, drugi wymiar każdy oznacza liczbę czynników n . Celem analizy czynnikowej jest rozkład Dw taki sposób, aby ujawnić podstawowe wyniki i czynniki. Obciążenia w L powiedzieć nam proporcji poszczególnych punktów tworzących uwag D .

W PCA L ma wektory własne macierzy korelacji lub kowariancji D jako swoje kolumny. Są one konwencjonalnie ułożone w kolejności malejącej odpowiednich wartości własnych. Wartość n - tj. Liczbę znaczących głównych składników, które należy zachować w analizie, a zatem liczbę rzędów L - określa się zazwyczaj za pomocą wykresu piargowego wartości własnych lub jednej z wielu innych metod, które można znaleźć w literatura. Kolumny S w PCA same tworzą n abstrakcyjnych głównych składników. Wartość n jest podstawowym wymiarem zbioru danych.

Celem analizy czynnika jest transformacja komponentów na sensowne streszczenie czynników przez wykorzystanie transformacji macierzy T tak, że D = STT ^-1 l . ( ST ) jest transformowaną macierzą wyników, a ( T ^-1 L ) jest transformowaną macierzą obciążeń.

Powyższe wyjaśnienie z grubsza wynika z zapisu Edmunda R. Malinowskiego z jego doskonałej analizy czynnikowej w chemii . Bardzo polecam otwierające rozdziały jako wprowadzenie do tematu.

Jestem trochę zdezorientowany tymi nazwami i szukałem w książce zatytułowanej „Metody statystyczne w nauce o atmosferze”, która dała mi streszczenie zróżnicowanej terminologii PCA, oto zrzuty ekranu w książce, mam nadzieję, że to pomoże.