Metody obliczania wyników czynnikowych i jaka jest macierz „współczynnika wyników” w PCA lub analizie czynnikowej?

Metody obliczania wyników czynnikowych / składowych

Po serii komentarzy postanowiłem w końcu udzielić odpowiedzi (na podstawie komentarzy i nie tylko). Chodzi o obliczanie wyników składowych w PCA i wyników czynnikowych w analizie czynnikowej.

/ Czynnik wyniki składowe są dane przez , w których są badane zmienne ( skupione czy analiza PCA / czynnik oparto na kowariancji lub Z-znormalizowane gdyby była oparta na korelacji). jest matrycą współczynnika / współczynnika wyniku (lub wagi) . Jak oszacować te wagi? $\bf \hat{F}=XB$ $\bf X$ $\bf B$

Notacja

-matryca korelacji lub kowariancji zmiennych (pozycji), w zależności od tego, który z analizowanych czynników / PCA. $\bf R$ p x p

-macierz obciążeń czynnikowych / składowych. Mogą to być ładunki po ekstrakcji (często również oznaczone ), po których utajenia są ortogonalne lub praktycznie tak, lub ładunki po rotacji, ortogonalne lub ukośne. Jeśli obrót byłukośny, musi to byćładunekwzoru. $\bf P$ p x m $\bf A$

-macierz korelacji między czynnikami / składnikami po ich (obciążeniach) skośnym obrocie. Jeśli nie wykonano obrotu ani obrotu ortogonalnego, jest tomacierztożsamości. $\bf C$ m x m

-zredukowana macierz korelacji odtworzonych kowariancji /,(o ortogonalnych roztworów), zawiera communalities na przekątnej. $\bf \hat R$ p x p $\bf = PCP'$ $\bf = PP'$

-diagonalna macierz unikatowości (unikalność + wspólnotowość = element diagonalny ). Używam tutaj „2” jako indeksu dolnego zamiast indeksu górnego ( ) dla ułatwienia czytelności w formułach. $\bf U_2$ p x p $\bf R$ $\bf U^2$

-pełna macierz kowariancji odtworzonych korelacji . $\bf R^*$ p x p $\bf = \hat R + U_2$

- pseudoinwersja macierzy ; jeżeli jest pełnym rzędem, . $\bf M^+$ $\bf M$ $\bf M$ $\bf M^+ = (M'M)^{-1}M'$

- dla niektórych kwadratowy symetrycznej macierzy jego podniesienie do wynosi eigendecomposing , podnoszenie wartości własnych do zasilania i tworzenia tylna . $\bf M^{power}$ $\bf M$ $power$ $\bf HKH'=M$ $\bf M^{power}=HK^{power}H'$

Zgrubna metoda obliczania wyników czynnik / składnik

To popularne / tradycyjne podejście, czasami nazywane Cattell's, polega po prostu na uśrednieniu (lub zsumowaniu) wartości przedmiotów, które są ładowane według tego samego współczynnika. Matematycznie, wynosi ona ustawienie wagi w obliczenia punktów . Istnieją trzy główne wersje podejścia: 1) Używaj obciążeń takimi, jakie są; 2) Rozdziel je na części (1 = załadowany, 0 = nie załadowany); 3) Używać obciążeń takimi, jakie są, ale obciążeń zerowych mniejszych niż pewien próg. $\bf B=P$ $\bf \hat{F}=XB$

Często przy takim podejściu, gdy przedmioty są w tej samej jednostce skali, wartości są używane po prostu surowe; choć aby nie złamać logiki faktoryzacji, lepiej użyć ponieważ weszła ona do faktoringu - znormalizowana (= analiza korelacji) lub wyśrodkowana (= analiza kowariancji). $\bf X$ $\bf X$

Główną wadą grubej metody liczenia wyników czynnik / składnik jest moim zdaniem to, że nie uwzględnia ona korelacji między załadowanymi elementami. Jeśli przedmioty obciążone czynnikiem ściśle ze sobą korelują, a jeden jest obciążony silniej niż drugi, ten drugi można rozsądnie uznać za młodszy duplikat, a jego wagę można zmniejszyć. Udoskonalają to metody, ale metoda zgrubna nie.

Zgrubne wyniki są oczywiście łatwe do obliczenia, ponieważ nie jest wymagana inwersja macierzy. Zaletą metody zgrubnej (wyjaśniającej, dlaczego jest nadal szeroko stosowana pomimo dostępności komputerów) jest to, że daje wyniki, które są bardziej stabilne od próbki do próbki, gdy próbkowanie nie jest idealne (w sensie reprezentatywności i wielkości) lub elementy dla analizy nie zostały dobrze wybrane. Cytując jedną pracę: „Metoda punktacji może być najbardziej pożądana, gdy skale używane do gromadzenia oryginalnych danych są niesprawdzone i mają charakter eksploracyjny, przy niewielkim lub żadnym braku wiarygodności lub wiarygodności”. Również , że nie wymaga, aby zrozumieć „czynnik” niekoniecznie jako jednoczynnikowej utajonego Essense, jako model analizy czynnik wymaga ( patrz , patrz). Można na przykład pojąć czynnik jako zbiór zjawisk - wówczas sumowanie wartości pozycji jest rozsądne.

Udoskonalone metody obliczania wyników czynnik / składnik

Metody te są tym, co robią pakiety analityczne. Oszacowują różnymi metodami. Podczas gdy obciążenia lub są współczynnikami kombinacji liniowych do przewidywania zmiennych według czynników / składników, są współczynnikami do obliczania wyników czynników / składników na podstawie zmiennych. $\bf B$ $\bf A$ $\bf P$ $\bf B$

Wyniki obliczone za pomocą są skalowane: mają wariancje równe lub zbliżone do 1 (znormalizowane lub prawie znormalizowane) - nie są to prawdziwe wariancje czynnikowe (które są równe sumie obciążeń struktury kwadratowej, patrz przypis 3 tutaj ). Tak więc, gdy musisz podać wyniki czynnikowe z wariancją rzeczywistego czynnika, pomnóż wyniki (po ich standaryzacji do st. Odchylenie 1) przez pierwiastek kwadratowy tej wariancji. $\bf B$

Możesz zachować z analizy wykonanej, aby móc obliczyć wyniki dla nowych nadchodzących obserwacji . Ponadto można stosować do ważenia przedmiotów stanowiących skalę kwestionariusza, gdy skala jest opracowywana lub zatwierdzana przez analizę czynnikową. (Kwadratowe) współczynniki można interpretować jako udział elementów w czynnikach. Współczynniki mogą być znormalizowane, podobnie jak współczynnik regresji jest znormalizowany $\bf B$ $\bf X$ $\bf B$ $\bf B$ (gdzie), aby porównać wkład przedmiotów o różnych wariancjach. $\beta=b \frac{\sigma_{item}}{\sigma_{factor}}$ $\sigma_{factor}=1$

Zobacz przykład pokazujący obliczenia wykonane w PCA i FA, w tym obliczenia wyników z macierzy współczynników wyników.

Geometryczne wyjaśnienie obciążeniach „s (jak prostopadłych współrzędnych) oraz współczynniki wynik ” s (pochylanie współrzędne) w ustawieniach PCA prezentowana na dwóch pierwszych zdjęciach tutaj . $a$ $b$

Teraz do wyrafinowanych metod.

Metody

Obliczanie w PCA $\bf B$

Gdy obciążenia składników są wydobywane, ale nie obracane, , gdzie jest macierzą diagonalną złożoną z wartości własnych; ta formuła oznacza po prostu podzielenie każdej kolumny przez odpowiednią wartość własną - wariancję komponentu. $\bf B= AL^{-1}$ $\bf L$ m $\bf A$

Równoważnie . Ta formuła obowiązuje również dla komponentów (obciążeń) obróconych, ortogonalnie (takich jak varimax) lub ukośnie. $\bf B= (P^+)'$

Niektóre metody stosowane w analizie czynnikowej (patrz poniżej), jeśli zastosowane w PCA, zwracają ten sam wynik.

Obliczone oceny składników mają wariancje 1 i są to prawdziwie znormalizowane wartości składników .

To, co w analizie danych statystycznych nazywa się macierzą współczynnika głównego , a jeśli jest obliczane z kompletnej, a nie obróconej macierzy obciążeniowej, w literaturze dotyczącej uczenia maszynowego często określa się matrycę wybielającą (na bazie PCA) , a znormalizowane główne składniki są rozpoznane jako „wybielone” dane. $\bf B$ p x p

Obliczanie we wspólnej analizie czynnikowej $\bf B$

W przeciwieństwie do wyników składowych, czynnik wyniki są nigdy dokładny ; są jedynie przybliżeniami nieznanych prawdziwych wartości czynników. Wynika to z faktu, że nie znamy wartości wspólnot lub unikatowości na poziomie przypadku, ponieważ czynniki, w przeciwieństwie do składników, są zmiennymi zewnętrznymi odrębnymi od przejawnych i mają swój, nieznany nam rozkład. Co jest przyczyną nieokreśloności tego współczynnika . Należy zauważyć, że problem nieokreśloności jest logicznie niezależny od jakości rozwiązania czynnikowego: ile czynnik jest prawdziwy (odpowiada utajeniu, które generuje dane w populacji) to inna kwestia niż to, ile oceny danego czynnika są prawdziwe (dokładne szacunki wyodrębnionego czynnika). $\bf F$

Ponieważ oceny czynników są przybliżone, istnieją alternatywne metody ich obliczania i konkurowania.

$\bf B=R^{-1} PC = R^{-1} S$ $\bf S=PC$ $\bf A=P=S$ $^1$

$\bf B$

$\frac {SS_{regr}}{(n-1)}$ $^2$ $\frac {SS_{regr}}{(n-1)}$

$\bf R^*$ $\bf R$ $\bf R$ $\bf R^*$ m

$\bf \hat R$ $\bf R$ $\bf B= (P^+)'$ $\bf C$

$\bf \hat X = FP'$ $\bf F= (P^+)' \hat X$ $\bf X$ $\bf \hat X$ $\bf F$ $\bf \hat F$ $\bf X$

Należy pamiętać, że ta metoda nie podaje wyników składowych PCA dla wyników czynnikowych, ponieważ stosowane ładunki nie są ładunkami PCA, ale analizą czynnikową ”; tylko że podejście obliczeniowe do wyników odzwierciedla to, co w PCA.

$\bf B'=(P'U_2^{-1}P)^{-1} P' U_2^{-1}$ p

$\bf B'=(P'U_2^{-1}RU_2^{-1}P)^{-1/2} P'U_2^{-1}$

$\bf B= R^{-1/2} GH' C^{1/2}$ $\bf G$ $\bf H$ $\text{svd} \bf (R^{1/2}U_2^{-1}PC^{1/2}) = G \Delta H'$ m $\bf G$

$\bf G$ $\bf H$ $\text{svd} \bf (R^{-1/2}PC^{3/2}) = G \Delta H'$ m $\bf G$

Metoda Krijnena i in . Ta metoda jest uogólnieniem, które uwzględnia dwie poprzednie dwie za pomocą jednej formuły. Prawdopodobnie nie dodaje żadnych nowych ani ważnych nowych funkcji, więc nie rozważam tego.

Porównanie wyrafinowanych metod .

Metoda regresji maksymalizuje korelację między wynikami czynników a nieznanymi prawdziwymi wartościami tego czynnika (tj. Maksymalizuje trafność statystyczną ), ale wyniki są nieco tendencyjne i nieco niepoprawnie korelują między czynnikami (np. Korelują nawet, gdy czynniki w rozwiązaniu są ortogonalne). Są to szacunki metodą najmniejszych kwadratów.
Metoda PCA jest również metodą najmniejszych kwadratów, ale z mniejszą trafnością statystyczną. Są szybsze do obliczenia; obecnie nie są często używane w analizie czynnikowej ze względu na komputery. (W PCA ta metoda jest natywna i optymalna).
$\bf X$
Wyniki Andersona-Rubina / McDonalda-Andersona-Rubina i Greena są nazywane zachowaniem korelacji, ponieważ są obliczane w celu dokładnej korelacji z wynikami czynników innych czynników. Korelacje między wynikami czynników są równe korelacjom między czynnikami w rozwiązaniu (tak więc na przykład w rozwiązaniu ortogonalnym wyniki będą całkowicie nieskorelowane). Ale wyniki są nieco stronnicze, a ich ważność może być skromna.

Sprawdź również tę tabelę:

[Uwaga dla użytkowników SPSS: jeśli wykonujesz PCA (metoda ekstrakcji „głównych składników”), ale wyniki współczynnika żądania inne niż metoda „regresji”, program zignoruje żądanie i zamiast tego obliczy wyniki „regresji” (które są dokładne wyniki składowe).]

Bibliografia

Grice, James W. Computing and Evaluating Factor Scores // Psychological Methods 2001, tom. 6, nr 4, 430–450.
DiStefano, Christine i in. Zrozumienie i wykorzystanie wyników czynnikowych // Praktyczna ocena, badania i ocena, tom 14, nr 20
ten Berge, Jos MFet al. Niektóre nowe wyniki dotyczące metod prognozowania wyników czynników zachowujących korelację // Algebra liniowa i jej zastosowania 289 (1999) 311-318.
Mulaik, Stanley A. Fundamenty analizy czynnikowej, wydanie drugie, 2009
Harman, Harry H. Modern Factor Analysis, 3. wydanie, 1976
Neudecker, Heinz. O najlepszej bezstronnej prognozie zachowującej kowariancję wyników czynnikowych // SORT 28 (1) styczeń-czerwiec 2004, 27-36

$^1$ $F=b_1X_1+b_2X_2$ $s_1$ $s_2$ $F$

$s_1=b_1r_{11}+b_2r_{12}$

$s_2=b_1r_{12}+b_2r_{22}$

$r$ $X$ $\bf s=Rb$ $F$ $b$ $r$ $s$

$^2$

wprowadź opis zdjęcia tutaj

ttnphns
źródło

Dobra odpowiedź, pozytywnie oceniany! Chciałem tylko powiedzieć, że jestem pod wrażeniem twojej wiedzy na temat statystyki, a zwłaszcza analizy czynników. Z przyjemnością skontaktujemy się z Tobą na LinkedIn i innych portalach społecznościowych. Nawiasem mówiąc, FYI: link do strony Twojej firmy w twoim profilu jest uszkodzony.

Aleksandr Blekh

X

$\bf X$

F A

$\bf F \bf A$

F

$\bf F$

R^{- 1} A

$\bf R^{-1} \bf A$

(I + A^{⊤} U^{- 2} A)^{- 1} A^{⊤} U^{- 2}

$(\bf I + \bf A^\top \bf U^{-2} \bf A)^{-1} \bf A^\top \bf U^{-2}$

I

$\bf I$

@amoeba, dodałem trochę informacji do odpowiedzi w odniesieniu do twojego pierwszego komentarza. Dla twojego drugiego komentarza - przepraszam, myślę, że nie mogę na nie odpowiedzieć bez zagłębiania się w książki. Jeśli znajdziesz odpowiedź samodzielnie, uprzejmie wyjaśnij ją publiczności. :-)

ttnphns

Niesamowita aktualizacja @ttnphns, świetna robota. Zauważyłem, że ten wątek był oglądany 13 000 razy, musi być wysoko oceniany w niektórych popularnych wyszukiwarkach Google.

ameba mówi Przywróć Monikę