Odbyła się już doskonała dyskusja na temat tego, w jaki sposób maszyny wektorów nośnych radzą sobie z klasyfikacją, ale jestem bardzo zdezorientowany, w jaki sposób maszyny wektorów nośnych uogólniają się na regresję.
Czy ktoś chce mnie oświecić?
Odbyła się już doskonała dyskusja na temat tego, w jaki sposób maszyny wektorów nośnych radzą sobie z klasyfikacją, ale jestem bardzo zdezorientowany, w jaki sposób maszyny wektorów nośnych uogólniają się na regresję.
Czy ktoś chce mnie oświecić?
Zasadniczo uogólniają w ten sam sposób. Podejście regresji oparte na jądrze polega na przekształceniu cechy, wywołaniu jej do jakiejś przestrzeni wektorowej, a następnie wykonaniu regresji liniowej w tej przestrzeni wektorowej. Aby uniknąć „przekleństwa wymiarowości”, regresja liniowa w przekształconej przestrzeni różni się nieco od zwykłych najmniejszych kwadratów. Rezultatem jest to, że regresję w przekształconej przestrzeni można wyrazić jako ℓ ( x ) = ∑ i w i ϕ ( x i ) ⋅ ϕ ( x ) , gdzie x i są obserwacjami z zestawu treningowego, ϕ ( to transformacja zastosowana do danych, a kropka jest iloczynem kropki. Zatem regresja liniowa jest „wspierana” przez kilka (najlepiej niewielką liczbę) wektorów treningowych.
Wszystkie szczegóły matematyczne są ukryte w dziwny regresji wykonanej w przekształconej przestrzeni ( „epsilon-niewrażliwy rury” lub cokolwiek) i wybór transformacji . Dla praktyka są też pytania o kilka wolnych parametrów (zwykle w definicji ϕ i regresji), a także o featuryzację , czyli tam, gdzie znajomość domeny jest zwykle pomocna.
Omówienie SVM: Jak działa maszyna SVM?
Jeśli chodzi o regresję wektorów wsparcia (SVR), uważam te slajdy z http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( lustro ) bardzo wyraźnie:
Dokumentacja Matlaba ma również dobre objaśnienie i dodatkowo omawia algorytm rozwiązywania optymalizacji: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).
Jak dotąd odpowiedź ta przedstawiała tak zwaną regresję SVM (ε-SVM) niewrażliwą na epsilon. Istnieje jedna z nowszych wersji SVM dla dowolnej klasyfikacji regresji: maszyna wektorowa obsługująca najmniejsze kwadraty .
Dodatkowo SVR może zostać rozszerzony dla wielu wyjść, czyli wielu celów, np. Patrz {1}.
Referencje:
źródło