Czy istnieją aplikacje, w których SVM wciąż jest lepszy?

10

Algorytm SVM jest dość stary - opracowano go w latach 60., ale był niezwykle popularny w latach 90. i 2000. Jest to klasyczna (i dość piękna) część kursów uczenia maszynowego.

Dziś wydaje się, że w przetwarzaniu mediów (obrazy, dźwięk itp.) Sieci neuronowe całkowicie dominują, podczas gdy w innych obszarach wzmocnienie gradientu ma bardzo silną pozycję.

Ponadto w ostatnich konkursach danych nie zaobserwowałem żadnych rozwiązań opartych na SVM.

Szukam przykładów aplikacji, w których SVM nadal zapewnia najnowocześniejsze wyniki (od 2016 r.).

Aktualizacja: Chciałbym podać przykład, który mogę podać np. Studentom / kolegom podczas wyjaśniania SVM, aby nie wyglądało to na czysto teoretyczne lub przestarzałe podejście.

machine-learning svm Alleo
źródło
3
W jakim sensie przełożony? Jakieś wskaźniki wydajności? Trening głębokiej sieci neuronowej wymaga znacznej ilości czasu komputerowego, ale mogę trenować sprawny SVM na moim laptopie.
Sycorax mówi Przywróć Monikę
@ user777 Oczywiście mam na myśli metrykę klasyfikacji / regresji odpowiednią dla pola zastosowania. Problem ze złożonością obliczeniową dla DL jest ważny, ale jest to nieco poza zakresem tego pytania.
Alleo

Odpowiedzi:

11

Według artykułu Czy potrzebujemy setek klasyfikatorów, aby rozwiązać rzeczywiste problemy klasyfikacyjne? SVM wraz z losowymi maszynami do uruchamiania lasu i gradientu należą do najbardziej wydajnych algorytmów klasyfikacji dla dużego zestawu ponad 120 zestawów danych (wykorzystując dokładność jako miarę).

Powtórzyłem ich eksperymenty z pewnymi modyfikacjami i otrzymałem, że te trzy klasyfikatory działają lepiej niż inne, ale jak twierdzi twierdzenie o braku darmowego lunchu , zawsze istnieje problem, w którym jakiś inny algorytm działa lepiej niż te trzy.

Tak, powiedziałbym, że SVM (z jądrem Gaussa - tego właśnie użyłem) jest nadal odpowiednim algorytmem dla zbiorów danych niezwiązanych z mediami.

Jacques Wainer
źródło
Cześć, dzięki za odpowiedź! Widziałem to interesujące badanie. O ile rozumiem, pomysł polegał na sprawdzeniu, ile klasyfikator daje bez poważnego strojenia (podczas gdy analityk danych powinien przeprowadzić strojenie IMO). Bardziej interesujące byłoby badanie obszarowe.
Alleo
1
Pamiętam, że Delgado i inni nie przeprowadzili bardzo szczegółowego wyszukiwania najlepszych hiperparametrów, ale jeśli wykonali jakieś wyszukiwanie. Pytanie (na które nie mam odpowiedzi) brzmi, czy bardziej szczegółowe wyszukiwanie najlepszych hipeparametrów przyniosłoby różne wyniki. Jeśli to prawda, oznaczałoby to, że konkurencyjne algorytmy SVM mają ogólnie bardzo ostry szczyt dokładności dla poszczególnych hiperparametrów, co moim zdaniem jest ujemnym czynnikiem dla algorytmu.
Jacques Wainer,
Jednym drobnym komentarzem jest to, że zbiory danych UCI (używane do testów) są w większości dość małe. Zastanawiam się, czy to może być wytłumaczenie słabych wyników wzmocnienia? Większość wyzwań kaggle (z dużą ilością danych) pokazuje lepszą wydajność GB.
Alleo
Zgadzam się, że zestawy danych są małe. W przypadku większych zestawów danych korzystam obecnie z Losowych Lasów - zacznę używać GBM, gdy tylko poczuję się lepiej z hiperparametrami - nie wiem, jak rozsądne jest dla nich GBM.
Jacques Wainer,