Stosujesz „sztuczkę jądra” do metod liniowych?

20

Trik jądro jest stosowana w kilku modelach uczenia maszynowego (np SVM ). Po raz pierwszy został wprowadzony w artykule „Teoretyczne podstawy metody funkcji potencjalnej w uczeniu się rozpoznawania wzorców” w 1964 r.

Definicja wikipedia mówi, że tak

sposób zastosowania algorytmu klasyfikatora liniowego do rozwiązania problemu nieliniowego poprzez odwzorowanie pierwotnych obserwacji nieliniowych na przestrzeń o większych wymiarach, gdzie następnie stosuje się klasyfikator liniowy; czyni to klasyfikację liniową w nowej przestrzeni równoważną klasyfikacji nieliniowej w przestrzeni pierwotnej.

Jednym z przykładów modelu liniowego, który został rozszerzony na problemy nieliniowe, jest jądro PCA . Czy sztuczkę jądra można zastosować do dowolnego modelu liniowego, czy też ma pewne ograniczenia?

Shane
źródło
1
BTW, jądra nie są tak naprawdę niezbędne dla SVM. „Serce” SVM to zasada maksymalizacji miękkiego marginesu. Przejście do reprezentacji jądra sprawia, że ​​problematyczna wymiarowość O (m ^ 2) zamiast O (d) gdzie m jest liczbą przykładów id jest wymiarem przestrzeni cech, więc jeśli m ^ 2 jest większe niż d, możesz być lepiej zrezygnować z jądra jmlr.csail.mit.edu/papers/v6/keerthi05a.html
Jarosław
@Yaroslav: Dzięki za odniesienie. Czy znasz jakieś implementacje tej „zmodyfikowanej metody skończonego Newtona”?
Shane
nie, ale na stronach Keerthi i Langford znajdują się linki do oprogramowania, które może być powiązane, ponieważ oboje pracowali w Yahoo Research
Jarosław Bułatow

Odpowiedzi:

17

Sztuczka jądra może być zastosowana tylko w modelach liniowych, w których przykłady w formułowaniu problemu pojawiają się jako produkty kropkowe (maszyny wektorowe wsparcia, PCA itp.).

ebony1
źródło
Dziękuję za odpowiedź. @mbq @ ebony1: IMO musimy dołożyć większych starań, aby publikować na stronie bardziej poważne pytania dotyczące uczenia maszynowego, aby przyciągnąć więcej tej społeczności.
Shane
@Shane Całkowicie się zgadzam, ale co z innymi stronami SO, takimi jak metaoptimize.com/qa ?
chl
@chl: Jest to również opcja, ale nie jest częścią StackExchange (jest kontrolowana przez jedną osobę i na innym oprogramowaniu) i osobiście wolałbym, aby te różne społeczności analizujące dane mieszały się w jednym miejscu.
Shane
@Shane Cóż, ok, to ma sens.
chl
istnieje także obszar
Yaroslav Bulatov
2

@ ebony1 podaje kluczowy punkt (+1), byłem współautorem artykułu omawiającego sposób kernelizacji uogólnionych modeli liniowych, np. regresji logistycznej i regresji Poissona, jest to dość proste.

GC Cawley, GJ Janacek i NLC Talbot, Uogólnione maszyny jądra, w materiałach z międzynarodowej wspólnej konferencji IEEE / INNS na temat sieci neuronowych (IJCNN-2007), strony 1732-1737, Orlando, Floryda, USA, 12-17 sierpnia 2007. ( www , pdf )

Napisałem również zestaw narzędzi (jakość badań) MATLAB (niestety nie ma instrukcji), który można znaleźć tutaj .

Możliwość modelowania rozkładu docelowego jest dość przydatna w kwanifikacji niepewności itp., Więc jest użytecznym (choć dość przyrostowym) dodatkiem do metod uczenia się jądra.

Dikran Torbacz
źródło