Mapa funkcji dla jądra Gaussa

24

W SVM jądro Gaussa jest zdefiniowane jako: gdzie x, y \ in \ mathbb {R ^ n} . Nie znam jednoznacznego równania \ phi . Chcę wiedzieć.

K(x,y)=exp(xy222σ2)=ϕ(x)Tϕ(y)
x,yRnϕ

Ja też chcę wiedzieć, czy

iciϕ(xi)=ϕ(icixi)
gdzie ciR . Teraz myślę, że to nie jest równe, ponieważ użycie jądra obsługuje sytuację, w której nie działa klasyczna klasa liniowa. Wiem, że ϕ projektuje x do nieskończonej przestrzeni. Więc jeśli nadal pozostaje liniowy, bez względu na to, ile to wymiarów, svm nadal nie może dokonać dobrej klasyfikacji.
Vivian
źródło
dlaczego to jądro oznacza transformację? A może masz na myśli powiązaną przestrzeń funkcji?
Placidia,
Tak, jaka jest przestrzeń funkcji ϕ() więc ϕT(x)ϕ(x)=exp(12σ2xx2)
27886

Odpowiedzi:

20

Możesz uzyskać wyraźne równanie ϕ dla jądra Gaussa poprzez rozszerzenie e ^ x serii Tailor ex. Dla uproszczenia, załóż xR1 :

ϕ(x)=ex2/2σ2[1,11!σ2x,12!σ4x2,13!σ6x3,]T

Jest to również omówione bardziej szczegółowo w tych slajdach przez Chih-Jen Lin z NTU (konkretnie slajd 11). Zauważ, że w slajdach jest używany jako parametr jądra.γ=12σ2

Równanie w OP dotyczy tylko liniowego jądra.

Marc Claesen
źródło
2
Cześć, ale powyższe równanie pasuje tylko do jednego wymiaru.
Vivian
Więc tutaj, przestrzeń Hilberta w jądrze jest podprzestrzenią , prawda? 2
The_Anomaly
Czy istnieje również wyraźna reprezentacja jądra Laplaciana?
Felix Crazzolara
13

Dla każdego ważnego jądra psd istnieje mapa funkcji taka, że . Spacja i osadzanie w rzeczywistości nie muszą być unikalne, ale istnieje ważna unikalna para znana jako przestrzeń odtwarzająca jądro Hilberta (RKHS).k:X×XRφ:XHk(x,y)=φ(x),φ(y)HHφ(H,φ)

RKHS jest omawiany przez: Steinwart, Hush and Scovel, Jawny opis odtwarzającego się jądra Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , free citeseer pdf ).

Jest to nieco skomplikowane, ale sprowadza się do tego: zdefiniuj jako en:CC

en(z):=(2σ2)nn!zneσ2z2.

Niech będzie sekwencją obejmującą wszystkie -tule nieujemnych liczb całkowitych; jeśli , być może , , i tak dalej. Oznacz ty komponent tej krotki przez .n:N0N0ddd=3n(0)=(0,0,0)n(1)=(0,0,1)n(2)=(0,1,1)jinij

Zatem tym składnikiem jest . Więc odwzorowuje wektory w na nieskończenie wymiarowe wektory złożone.iφ(x)j=1denij(xj)φRd

Problem polega na tym, że musimy dodatkowo zdefiniować normy dla tych nieskończenie wymiarowych wektorów złożonych w specjalny sposób; szczegóły patrz papier.


Steinwart i in. daję również prostsze (według mojego myślenia) osadzenie w , przestrzeni Hilberta funkcji całkowitych kwadratowych od : Należy zauważyć, że jest sam w sobie funkcję z do . Zasadniczo jest to gęstość -wymiarowego gaussa ze średnią i kowariancją ; tylko stała normalizująca jest inna. Kiedy więc weźmiemy L2(Rd)RdR

Φσ(x)=(2σ)d2πd4e2σ2x22.
Φσ(x)RdRdx14σ2I
Φ(x),Φ(y)L2=[Φ(x)](t)[Φ(y)](t)dt,
bierzemy iloczyn funkcji gęstości Gaussa , która sama jest pewną stałą razy funkcji gęstości Gaussa. Kiedy wykonasz tę całkę przez , wówczas wypadająca stała kończy się dokładnie .tk(x,y)

To nie jedyne osadzenia, które działają.

Kolejna oparta jest na transformacji Fouriera, którą znakomity papier Rahimi i Recht ( Random Features for Large Scale Kernel Machines , NIPS 2007) zbliża się znakomicie.

Możesz to również zrobić za pomocą serii Taylora: w rzeczywistości nieskończona wersja Cottera, Kesheta i Srebro, Jawne aproksymacje jądra Gaussa , arXiv: 1109.4603 .

Dougal
źródło
1
Douglas Zare przedstawił pierwszą wersję „prostszego” osadzenia w interesującym wątku tutaj .
Dougal
Tutaj można znaleźć bardziej „intuicyjne” wyjaśnienie, że może mapy na spave wymiaru równej wielkości próby treningowej, nawet dla nieskończonej próbie szkoleniowej: stats.stackexchange.com/questions/80398/...Φ
6

Wydaje mi się, że twoje drugie równanie będzie prawdziwe tylko wtedy, gdy jest odwzorowaniem liniowym (a zatem jest jądrem liniowym). Ponieważ jądro Gaussa jest nieliniowe, równość się nie utrzyma (z wyjątkiem być może granicy, ponieważ osiąga zero).ϕKσ

Dikran Torbacz
źródło
Dziękuję za Twoją odpowiedź. Gdy , wymiar projektów jądra Gaussa wzrośnie. I z twojej inspiracji, teraz myślę, że to nie jest równe. Ponieważ za pomocą jądra wystarczy poradzić sobie z sytuacją, że klasyfikacja liniowa nie działa. σ0
Vivian