Obsługa maszyn wektorowych i regresji

26

Odbyła się już doskonała dyskusja na temat tego, w jaki sposób maszyny wektorów nośnych radzą sobie z klasyfikacją, ale jestem bardzo zdezorientowany, w jaki sposób maszyny wektorów nośnych uogólniają się na regresję.

Czy ktoś chce mnie oświecić?

Zach
źródło

Odpowiedzi:

17

Zasadniczo uogólniają w ten sam sposób. Podejście regresji oparte na jądrze polega na przekształceniu cechy, wywołaniu jej do jakiejś przestrzeni wektorowej, a następnie wykonaniu regresji liniowej w tej przestrzeni wektorowej. Aby uniknąć „przekleństwa wymiarowości”, regresja liniowa w przekształconej przestrzeni różni się nieco od zwykłych najmniejszych kwadratów. Rezultatem jest to, że regresję w przekształconej przestrzeni można wyrazić jako ( x ) = i w i ϕ ( x i ) ϕ ( x ) , gdzie x i są obserwacjami z zestawu treningowego, ϕ (x(x)=jawjaϕ(xja)ϕ(x)xja to transformacja zastosowana do danych, a kropka jest iloczynem kropki. Zatem regresja liniowa jest „wspierana” przez kilka (najlepiej niewielką liczbę) wektorów treningowych. ϕ()

Wszystkie szczegóły matematyczne są ukryte w dziwny regresji wykonanej w przekształconej przestrzeni ( „epsilon-niewrażliwy rury” lub cokolwiek) i wybór transformacji . Dla praktyka są też pytania o kilka wolnych parametrów (zwykle w definicji ϕ i regresji), a także o featuryzację , czyli tam, gdzie znajomość domeny jest zwykle pomocna.ϕϕ

shabbychef
źródło
Z intuicyjnego punktu widzenia, czy jest to prawie jak klasyfikacja jednoklasowa, gdzie linia „graniczna” klasy kończy się przecinaniem punktów zamiast między punktami dwóch klas?
Wayne
@Wayne, tak rozumiem, tak. Nie jestem jednak w 100%.
Zach
5

Omówienie SVM: Jak działa maszyna SVM?

Jeśli chodzi o regresję wektorów wsparcia (SVR), uważam te slajdy z http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( lustro ) bardzo wyraźnie:

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutajwprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

wprowadź opis zdjęcia tutaj

Dokumentacja Matlaba ma również dobre objaśnienie i dodatkowo omawia algorytm rozwiązywania optymalizacji: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Jak dotąd odpowiedź ta przedstawiała tak zwaną regresję SVM (ε-SVM) niewrażliwą na epsilon. Istnieje jedna z nowszych wersji SVM dla dowolnej klasyfikacji regresji: maszyna wektorowa obsługująca najmniejsze kwadraty .

Dodatkowo SVR może zostać rozszerzony dla wielu wyjść, czyli wielu celów, np. Patrz {1}.


Referencje:

Franck Dernoncourt
źródło