Czy wymiary t-sne są znaczące?

Czy są jakieś znaczenia dla wymiarów osadzania t-sne? Podobnie jak w przypadku PCA, mamy poczucie maksymalizacji wariancji transformacji liniowej, ale czy dla t-sne jest intuicja oprócz tylko przestrzeni, którą definiujemy do mapowania i minimalizacji odległości KL?

dimensionality-reduction tsne Nitro
źródło

Nie jestem pewien, czy tak naprawdę odpowiada to temu, o co pytasz, ale uważam, że wymiary t-sne naprawdę zależą tylko od rozdzielności danych. Wymiary mogą ulec zmianie, biorąc pod uwagę ten sam zestaw danych, ponieważ jest to transformacja nieliniowa. Tak więc wymiary można naprawdę interpretować tylko w kontekście danej instancji. Daj mi znać, jeśli się mylę, to interesujące pytanie.

Hobbes,

Może to po prostu nudne stare ?3?

Nitro,

Wymiary przestrzeni niskiego wymiaru nie mają znaczenia. Należy zauważyć, że funkcja straty t-SNE opiera się wyłącznie na odległościach między punktami ( i ) oraz rozkładach prawdopodobieństwa na tych odległościach ( $y_i$ $y_j$ $p_{ij}$ i ): $q_{ij}$

\frac{δ do}{δ y_{ja}} = 4 \sum_{jot} (p_{ja jot} - q_{ja jot}) (y_{ja} - y_{jot}) (1 + | | y_{ja} - y_{jot} | |^{2)})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Zatem nie ma rzutowania z całej przestrzeni wielowymiarowej na przestrzeń niskowymiarową, t-SNE znajduje jedynie odwzorowanie od określonego zestawu punktów wielowymiarowych do określonego zestawu punktów niskowymiarowych. Ponieważ nie ma żadnej funkcji z jednej przestrzeni do drugiej, nie ma również nieodłącznego znaczenia osi.

Rzeczy, które możesz sobie to zilustrować:

Obracanie lub translacja przestrzeni o wysokich lub niskich wymiarach nie wpływa na odległości między punktami. Dlatego t-SNE nie dba o rotację lub translację w obu przestrzeniach. Zatem nie ma absolutnej interpretacji osi.
Rozkład t-Studentów ma grube ogony. To powoduje, że reprezentacja niskiego wymiaru jest niezmienna dla zmian punktów znajdujących się daleko w przestrzeni wielowymiarowej. Powoduje to również, że punkty, które są daleko w przestrzeni wielowymiarowej, mogą być albo dość daleko, bardzo daleko, albo naprawdę daleko w przestrzeni niskiego wymiaru. W tym sensie rozciąga on niektóre części osi niskiego wymiaru (w dowolnym dowolnym kierunku).

To powiedziawszy, t-SNE jest przede wszystkim techniką wizualizacji, a jego skuteczność zmniejszania wymiarów do innych celów nie jest oczywista (prawdopodobnie nie nadaje się do grupowania, wydobywania cech lub wyboru cech).

Również: papier .

Pieter
źródło

Czy wymiary t-sne są znaczące?

Odpowiedzi: