Próbuję zrozumieć różnice między metodami liniowej redukcji wymiarów (np. PCA) a metodami nieliniowymi (np. Izomapa).
Nie do końca rozumiem, co oznacza (nie) liniowość w tym kontekście. Czytałem z Wikipedii, że
Dla porównania, jeżeli PCA (algorytm liniowej redukcji wymiarów) zostanie zastosowany do zredukowania tego samego zestawu danych do dwóch wymiarów, uzyskane wartości nie będą tak dobrze zorganizowane. To pokazuje, że wektory wysokowymiarowe (każdy reprezentujący literę „A”), które próbkują ten rozmaitość, zmieniają się w sposób nieliniowy.
Co robi
wektory wysokowymiarowe (każdy reprezentujący literę „A”), które próbkują ten rozmaitość, zmieniają się w sposób nieliniowy.
oznaczać? Lub szerzej, jak rozumiem (nie) liniowość w tym kontekście?
Obraz jest wart tysiąca słów:
Tutaj szukamy struktury 1-wymiarowej w 2D. Punkty leżą wzdłuż krzywej w kształcie litery S. PCA próbuje opisać dane liniowym 1-wymiarowym kolektorem, który jest po prostu linią; oczywiście linia źle pasuje do tych danych. Isomap szuka nieliniowego (tj. Zakrzywionego!) 1-wymiarowego rozgałęzienia i powinien być w stanie odkryć leżącą pod nim krzywą w kształcie litery S.
źródło