Regresja logistyczna jądra a SVM

Jak wiadomo wszystkim, SVM może używać metody jądra do rzutowania punktów danych w wyższych przestrzeniach, aby punkty można było oddzielić przestrzenią liniową. Ale możemy również użyć regresji logistycznej, aby wybrać tę granicę w przestrzeni jądra, więc jakie są zalety SVM? Skoro SVM używa rzadkiego modelu, w którym tylko te wektory wspierające wnoszą wkład podczas przewidywania, czy to sprawia, że ​​SVM jest szybszy w przewidywaniu?

KLR i SVM

1. Skuteczność klasyfikacji jest prawie identyczna w obu przypadkach.
2. KLR może zapewnić prawdopodobieństwa klasowe, podczas gdy SVM jest deterministycznym klasyfikatorem.
3. KLR ma naturalne rozszerzenie na klasyfikację wielu klas, podczas gdy w SVM istnieje wiele sposobów, aby rozszerzyć ją na klasyfikację wielu klas (i nadal jest przedmiotem badań, czy istnieje wersja, która ma wyraźnie lepsze cechy niż inne).
4. Zaskakujące lub zaskakujące, KLR ma również optymalne właściwości marginesów, które cieszą się SVM (przynajmniej na granicy)!

Patrząc na powyższe, wydaje się, że powinieneś używać regresji logistycznej jądra. Istnieją jednak pewne zalety, z których korzystają maszyny SVM

1. $O(N^3)$$O(N^2k)$$k$
2. Klasyfikator w SVM jest zaprojektowany tak, że jest zdefiniowany tylko w kategoriach wektorów podporowych, podczas gdy w KLR, klasyfikator jest zdefiniowany we wszystkich punktach, a nie tylko wektorach podporowych. Pozwala to SVM cieszyć się naturalnymi przyspieszeniami (pod względem wydajnego pisania kodu), które są trudne do osiągnięcia dla KLR.

Oto moje zdanie na ten temat:

SVM to bardzo elegancki sposób klasyfikacji. Jest trochę ładnej teorii, trochę pięknej matematyki, dobrze się uogólniają i też nie są zbyt powolne. Spróbuj jednak użyć ich do regresji, a zrobi się bałagan.

• Oto zasób dotyczący regresji SVM. Zwróć uwagę na dodatkowe parametry, które można zmienić i szczegółową dyskusję na temat algorytmów optymalizacji.

Gaussian Process Regression ma wiele takich samych zasad jądra i świetnie sprawdza się w regresji. Znowu bardzo elegancki i nie jest zbyt wolny. Spróbuj użyć ich do klasyfikacji, a zacznie się czuć niezręcznie.

• Oto rozdział z książki GP na temat regresji.

• Oto rozdział dotyczący klasyfikacji do porównania. Zauważ, że kończysz się skomplikowanymi przybliżeniami lub metodą iteracyjną.

Jedną fajną rzeczą w korzystaniu z GP do klasyfikacji jest to, że daje ona rozkład predykcyjny, a nie prostą klasyfikację tak / nie.

odwiedź http://www.stanford.edu/~hastie/Papers/svmtalk.pdf

Kilka wniosków: Wyniki klasyfikacji są bardzo podobne. Ma ograniczające optymalne właściwości marginesów. Zapewnia oszacowania prawdopodobieństw klasowych. Często są one bardziej przydatne niż klasyfikacje. Uogólnia się naturalnie na klasyfikację klasy M poprzez regresję wielu logitów jądra.