Jak zrozumieć efekt RBF SVM

17

Jak mogę zrozumieć, co robi jądro RBF w SVM? Rozumiem matematykę, ale czy jest sposób, aby poczuć, kiedy to jądro będzie przydatne?

Czy wyniki z kNN byłyby powiązane z SVM / RBF, ponieważ RBF zawiera odległości wektorowe?

Czy jest sposób, aby poczuć wielomianowe jądro? Wiem, że im wyższy wymiar, tym bardziej wigglier. Ale chciałbym dowiedzieć się, co robią jądra, zamiast wypróbować wszystkie możliwe jądra i wybrać najbardziej udane.

Gerenuk
źródło

Odpowiedzi:

29

Możecie zacząć od spojrzenia na jedną z moich odpowiedzi tutaj:
Nieliniowa klasyfikacja SVM z jądrem RBF

W tej odpowiedzi próbuję wyjaśnić, co próbuje wykonać funkcja jądra. Gdy zrozumiesz, co próbuje zrobić, w ramach działań następczych możesz przeczytać moją odpowiedź na pytanie w Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radial-base-function-kernel-map-in-infinite-dimensional-space / answer / Arun-Iyer-1

Powielanie treści odpowiedzi na Quora, w przypadku gdy nie masz konta Quora.

Pytanie: Dlaczego jądro RBF (radialna funkcja bazowa) mapuje w nieskończoną przestrzeń wymiarową? Odpowiedź: Rozważmy wielomianowe jądro stopnia 2 zdefiniowane przez, gdzie x , y R 2 i x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

k(x,y)=(xT.y)2)
x,yR2)x=(x1,x2),y=(y1,y2)

Tym samym funkcję jądra można zapisać jako: Teraz spróbujmy stworzyć mapę cech Φ , aby funkcja jądra mogła być zapisana jako k ( x ,

k(x,y)=(x1y1+x2y2)2=x12y12+2x1x2y1y2+x22y22
Φ .k(x,y)=Φ(x)TΦ(y)

Rozważ następującą mapę funkcji, Zasadniczo ta mapa obiektów odwzorowuje punkty w R 2na punkty w R 3. Zauważ też, żeΦ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, co jest zasadniczo naszą funkcją jądra.

Φ(x)=(x12,2x1x2,x22)
R2)R3)
Φ(x)TΦ(y)=x12y12+2x1x2y1y2+x22y22

Oznacza to, że nasza funkcja jądra faktycznie oblicza iloczyn wewnętrzny / punktowy punktów w . Oznacza to, że jest niejawnie mapowanie nasze punkty z R 2 do R 3 .R3R2R3

Pytanie ćwiczeniowe : Jeśli twoje punkty są w , wielomianowe jądro stopnia 2 odwzoruje niejawnie to na jakąś przestrzeń wektorową F. Jaki jest wymiar tej przestrzeni wektorowej F? Wskazówka: wszystko, co zrobiłem powyżej, jest wskazówką.Rn

Teraz przyjeżdżam do RBF.

R2

k(x,y)=exp(xy2)=exp((x1y1)2(x2y2)2)
=exp(x12+2x1y1y12x22+2x2y2y22)
=exp(x2)exp(y2)exp(2xTy)
k(x,y)=exp(x2)exp(y2)n=0(2xTy)nn!
ΦR2

Ćwiczenie Pytanie : Pobierz pierwsze elementy wektorowe mapy cech dla RBF dla powyższego przypadku?

Teraz z powyższej odpowiedzi możemy wyciągnąć wniosek:

  • Φ
  • ΦR2Φ(x)=(x12,2x1x2,x22)
TenaliRaman
źródło