Jaka jest różnica między analizą głównych składników a skalowaniem wielowymiarowym?

Czym różnią się PCA i klasyczny MDS? Co powiesz na MDS a niemetryczny MDS? Czy jest czas, kiedy wolisz jeden od drugiego? Czym różnią się interpretacje?

Metryka MDS klasycznego Torgersona jest faktycznie wykonywana przez przekształcenie odległości w podobieństwa i wykonanie na nich PCA (rozkład własny lub rozkład wartości osobliwych). [Inną nazwą tej procedury ( distances between objects -> similarities between them -> PCAprzy czym obciążenia są poszukiwanymi współrzędnymi) jest główna analiza współrzędnych lub PCoA .] Zatem PCA można nazwać algorytmem najprostszego MDS.

Niemetryczny MDS opiera się na iteracyjnym algorytmie ALSCAL lub PROXSCAL (lub podobnym algorytmie), który jest bardziej uniwersalną techniką mapowania niż PCA i może być również stosowany do metrycznego MDS. Podczas gdy PCA zachowuje dla ciebie m ważne wymiary, ALSCAL / PROXSCAL dopasowuje konfigurację do m wymiarów (wstępnie definiujesz m ) i odtwarza różnice na mapie bardziej bezpośrednio i dokładniej niż zwykle PCA (patrz sekcja ilustracji poniżej).

Tak więc MDS i PCA prawdopodobnie nie są na tym samym poziomie, aby być w linii lub naprzeciw siebie. PCA to tylko metoda, podczas gdy MDS to klasa analizy. Jako mapowanie PCA jest szczególnym przypadkiem MDS. Z drugiej strony PCA jest szczególnym przypadkiem analizy czynnikowej, która będąc redukcją danych, jest czymś więcej niż tylko mapowaniem, podczas gdy MDS jest tylko mapowaniem.

Jeśli chodzi o twoje pytanie dotyczące metrycznego MDS vs. niemetrycznego MDS, niewiele jest komentarzy, ponieważ odpowiedź jest prosta. Jeśli uważam, że moje podobieństwa wejściowe są tak bliskie odległościom euklidesowym, że wystarczy transformacja liniowa do odwzorowania ich w przestrzeni m-wymiarowej, wolę metryczny MDS. Jeśli nie wierzę, konieczna jest transformacja monotoniczna, co oznacza użycie niemetrycznego MDS.

---

Uwaga na temat terminologii dla czytelnika. Termin Classic (al) MDS (CMDS) może mieć dwa różne znaczenia w szerokiej literaturze na temat MDS, więc jest niejednoznaczny i należy go unikać. Jedną z definicji jest to, że CMDS jest synonimem miernika MDS Torgersona. Inną definicją jest to, że CMDS to dowolny MDS (według dowolnego algorytmu; analiza metryczna lub niemetryczna) z wejściem z pojedynczą matrycą (ponieważ istnieją modele analizujące wiele macierzy jednocześnie - Indywidualny model „INDSCAL” i model replikowany).

---

Ilustracja do odpowiedzi . Pewna chmura punktów (elipsa) jest odwzorowywana na jednowymiarowej mapie mds. Para punktów pokazana jest w czerwonych kropkach.

Iteracyjny lub „prawdziwy” MDS ma na celu odtworzenie par odległości między obiektami. Jest to bowiem zadaniem każdego MDS . Różne kryteria naprężeń lub Misfit może być minimalizowane pomiędzy O riginal odległości i odległości, na m ap: , ‖ D 2 O - D 2 m ‖ 1 , ‖ D O - D m ‖ 1 . Algorytm może (niemetryczny MDS) lub nie (metryczny MDS) zawierać w ten sposób transformację monotoniczną.$\|D_o-D_m\|_2^2$$\|D_o^2-D_m^2\|_1$$\|D_o-D_m\|_1$

MDS oparty na PCA (Torgerson's lub PCoA) nie jest prosty. Minimalizuje kwadratowe odległości między obiektami w pierwotnej przestrzeni i ich obrazami na mapie. To nie jest całkiem prawdziwe zadanie MDS; odnosi sukces, jako MDS, tylko w takim stopniu, w jakim odrzucone mniejsze główne osie są słabe. Jeśli wyjaśnia wiele więcej niż wariancji P 2 były może sam właściwie odzwierciedlają parami odległości w chmurze, zwłaszcza za punkty leżące daleko od siebie wzdłuż elipsy. Iteracyjny MDS zawsze wygrywa, zwłaszcza gdy mapa jest bardzo mało wymiarowa. Iteracyjny MDS również odniesie większy sukces, gdy elipsa chmurowa jest cienka, ale lepiej wypełni zadanie mds niż PCoA. Według właściwości macierzy podwójnego centrowania (opisanej tutaj$P_1$$P_2$) wydaje się, że PCoA minimalizuje , co różni się od któregokolwiek z powyższych minimalizacji.$\|D_o\|_2^2-\|D_m\|_2^2$

Po raz kolejny PCA rzutuje punkty chmurowe na najbardziej korzystną podprzestrzeń oszczędzania dla wszystkich osób. Nie wyświetla par odległości , względnych lokalizacji punktów w podprzestrzeni, które są najbardziej oszczędne pod tym względem, tak jak robi to iteracyjny MDS. Niemniej jednak historycznie PCoA / PCA jest uważane za jedną z metod metrycznego MDS.

Uhm ... całkiem inaczej. W PCA otrzymujesz ciągłe dane wielowymiarowe (wektor wielowymiarowy dla każdego przedmiotu) i próbujesz dowiedzieć się, czy nie potrzebujesz tylu wymiarów, aby je konceptualizować. W (metrycznym) MDS podano macierz odległości między obiektami i próbujesz dowiedzieć się, jakie są położenia tych obiektów w przestrzeni (i czy potrzebujesz przestrzeni 1D, 2D, 3D itd.). W niemetrycznym MDS wiesz tylko, że obiekty 1 i 2 są bardziej odległe niż obiekty 2 i 3, więc próbujesz to oszacować, oprócz znalezienia wymiarów i lokalizacji.

Dzięki znacznej wyobraźni można powiedzieć, że wspólnym celem PCA i MDS jest wizualizacja obiektów w 2D lub 3D. Ale biorąc pod uwagę, jak różne są dane wejściowe, metody te nie będą omawiane jako nawet odległe w żadnym podręczniku na wielu odmianach. Sądzę, że możesz przekonwertować dane użyteczne dla PCA na dane użyteczne dla MDS (powiedzmy, obliczając odległości Mahalanobisa między obiektami, używając przykładowej macierzy kowariancji), ale natychmiast spowodowałoby to utratę informacji: MDS jest tylko zdefiniowany do lokalizacji i rotacji, a dwa ostatnie można zrobić bardziej informacyjnie za pomocą PCA.

Gdybym miał krótko pokazać komuś wyniki niemetrycznego MDS i chciałbym dać mu przybliżone wyobrażenie o tym, co robi bez wchodzenia w szczegóły, mógłbym powiedzieć:

Biorąc pod uwagę posiadane przez nas miary podobieństwa lub odmienności, staramy się mapować nasze obiekty / podmioty w taki sposób, aby „miasta”, które tworzą, miały między nimi odległości, które są tak bliskie tym miarom podobieństwa, jak to możliwe. Możemy jednak idealnie odwzorować je tylko w przestrzeni wymiarowej, więc reprezentuję tutaj dwa najbardziej pouczające wymiary - coś w rodzaju tego, co zrobiłbyś w PCA, gdybyś pokazał zdjęcie z dwoma głównymi składowymi.$n$

Dwa rodzaje metrycznych MDS

Zadanie metrycznego skalowania wielowymiarowego (MDS) można abstrakcyjnie sformułować w następujący sposób: biorąc pod uwagę macierz D par odległości między n punktami, znajdź nisko wymiarowe osadzenie punktów danych w R k, tak aby odległości euklidesowe między nimi były zbliżone do podane odległości: ‖ x i - x j ‖ ≈ D i j$n\times n$$\mathbf D$$n$$\mathbb R^k$

$$\|\mathbf x_i - \mathbf x_j\|\approx D_{ij}.$$

Jeśli „przybliżony” jest tutaj rozumiany w zwykłym sensie błędu rekonstrukcji, tj. Jeśli celem jest zminimalizowanie funkcji kosztu zwanej „naprężeniem”: wówczas rozwiązaniem jest nie odpowiada PCA. Rozwiązanie nie zawiera żadnej zamkniętej formuły i musi zostać obliczone przez dedykowany algorytm iteracyjny.

$$\text{Stress} \sim \Big\|\mathbf D - \|\mathbf x_i - \mathbf x_j\|\Big\|^2,$$

„Klasyczny MDS”, znany również jako „Torgerson MDS” zastępuje tę funkcję kosztów przez powiązanego ale nie równoważne , zwany „szczep”: który dąży do zminimalizowania błąd rekonstrukcji wyśrodkowanych produktów skalarnych zamiast odległości. Okazuje się, że K c mogą być obliczane od D (jeśli D są odległości euklidesowych) i minimalizacji błędu rekonstrukcji K c jest dokładnie to, co robi PCA, jak pokazano w następnym rozdziale.

$$\text{Strain} \sim \Big\|\mathbf K_c - \langle\mathbf x_i, \mathbf x_j\rangle\Big\|^2,$$ $\mathbf K_c$$\mathbf D$$\mathbf D$$\mathbf K_c$

Klasyczny (Torgerson) MDS na odległościach euklidesowych jest równoważny PCA

$\mathbf X$$n \times k$$\mathbf X_c$

$\mathbf X_c = \mathbf {USV^\top}$$\mathbf{US}$$\frac{1}{n}\mathbf X_c^\top \mathbf X^\vphantom{\top}_c$$\mathbf K_c = \mathbf X^\vphantom{\top}_c \mathbf X^\top_c=\mathbf U \mathbf S^2 \mathbf U^\top$

$\mathbf X_c = (\mathbf I - \frac{1}{n}\mathbf 1_n)\mathbf X$$\mathbf 1_n$$n \times n$

$$\mathbf K_c = \left(\mathbf I - \frac{\mathbf 1_n}{n}\right)\mathbf K\left(\mathbf I - \frac{\mathbf 1_n}{n}\right) = \mathbf K - \frac{\mathbf 1_n}{n} \mathbf K - \mathbf K \frac{\mathbf 1_n}{n} + \frac{\mathbf 1_n}{n} \mathbf K \frac{\mathbf 1_n}{n},$$ $\mathbf K = \mathbf X \mathbf X^\top$$\mathbf X$$\mathbf K$$\mathbf K_c$

$n \times n$$\mathbf D$$D_{ij} = \|\mathbf x_i - \mathbf x_j\|$$\mathbf K_c$

$$\begin{align} D_{ij}^2 = \|\mathbf x_i - \mathbf x_j\|^2 &= \|\mathbf x_i - \bar{\mathbf x}\|^2 + \|\mathbf x_j - \bar{\mathbf x}\|^2 - 2\langle\mathbf x_i - \bar{\mathbf x}, \mathbf x_j - \bar{\mathbf x} \rangle \\ &= \|\mathbf x_i - \bar{\mathbf x}\|^2 + \|\mathbf x_j - \bar{\mathbf x}\|^2 - 2[K_c]_{ij}. \end{align}$$ $-\mathbf D^2/2$$\mathbf K_c$$\mathbf D^2$$\mathbf K_c$ $$\mathbf K_c = -\left(\mathbf I - \frac{\mathbf 1_n}{n}\right)\frac{\mathbf D^2}{2}\left(\mathbf I - \frac{\mathbf 1_n}{n}\right).$$

$\mathbf D$$\mathbf D \mapsto \mathbf K_c \mapsto \mathbf{US}$

$\|\mathbf x_i - \mathbf x_j\|$

Odniesienie: Elementy uczenia statystycznego , sekcja 18.5.2.

PCA daje DOKŁADNE takie same wyniki jak klasyczny MDS, jeśli zastosowana zostanie odległość euklidesowa.

Cytuję Cox & Cox (2001), s. 43–44:

Istnieje dwoistość między analizą składowych głównych a PCO [analiza głównych współrzędnych, czyli klasyczny MDS], gdzie różnice występują w odległości euklidesowej.

Sekcja w Cox & Cox wyjaśnia to dość wyraźnie:

• $X$$n$$p$
• $X'X$$\xi$$\mu$
• $X$$XX'$$v$$\lambda$
• $XX'$$X'X$$i < p$$\mu_i$$\lambda_i$
• $i^{th}$$X'Xv_i = \lambda_i v_i$
• $v_i$$X'$$(X'X)X'v_i = \lambda_i X'v_i$
• $X'X \xi_i = \mu_i \xi_i$$\lambda_i = \mu_i$$\xi_i = X'v_i$$i<p$

Porównanie: „Metryczny MDS daje taki sam wynik jak PCA” - proceduralnie - kiedy patrzymy na sposób użycia SVD do uzyskania optymalnego. Ale zachowane kryteria wielowymiarowe są inne. PCA wykorzystuje wyśrodkowaną macierz kowariancji, podczas gdy MDS wykorzystuje macierz gramów uzyskaną przez podwójne centrowanie macierzy odległości.

$Tr(X^T(I-\frac{1}{n}ee^T)X)$$X$$X$$Z^TZ$$X$$Y$$||G-Y^TY||_{F}^{2}$