W SVM jądro Gaussa jest zdefiniowane jako: gdzie x, y \ in \ mathbb {R ^ n} . Nie znam jednoznacznego równania \ phi . Chcę wiedzieć.
Ja też chcę wiedzieć, czy
gdzie . Teraz myślę, że to nie jest równe, ponieważ użycie jądra obsługuje sytuację, w której nie działa klasyczna klasa liniowa. Wiem, że projektuje x do nieskończonej przestrzeni. Więc jeśli nadal pozostaje liniowy, bez względu na to, ile to wymiarów, svm nadal nie może dokonać dobrej klasyfikacji.
machine-learning
svm
kernel-trick
Vivian
źródło
źródło
Odpowiedzi:
Możesz uzyskać wyraźne równanieϕ dla jądra Gaussa poprzez rozszerzenie e ^ x serii Tailor ex . Dla uproszczenia, załóż x∈R1 :
Jest to również omówione bardziej szczegółowo w tych slajdach przez Chih-Jen Lin z NTU (konkretnie slajd 11). Zauważ, że w slajdach jest używany jako parametr jądra.γ=12σ2
Równanie w OP dotyczy tylko liniowego jądra.
źródło
Dla każdego ważnego jądra psd istnieje mapa funkcji taka, że . Spacja i osadzanie w rzeczywistości nie muszą być unikalne, ale istnieje ważna unikalna para znana jako przestrzeń odtwarzająca jądro Hilberta (RKHS).k:X×X→R φ:X→H k(x,y)=⟨φ(x),φ(y)⟩H H φ (H,φ)
RKHS jest omawiany przez: Steinwart, Hush and Scovel, Jawny opis odtwarzającego się jądra Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , free citeseer pdf ).
Jest to nieco skomplikowane, ale sprowadza się do tego: zdefiniuj jakoen:C→C
Niech będzie sekwencją obejmującą wszystkie -tule nieujemnych liczb całkowitych; jeśli , być może , , i tak dalej. Oznacz ty komponent tej krotki przez .n:N0→Nd0 d d=3 n(0)=(0,0,0) n(1)=(0,0,1) n(2)=(0,1,1) j i nij
Zatem tym składnikiem jest . Więc odwzorowuje wektory w na nieskończenie wymiarowe wektory złożone.i φ(x) ∏dj=1enij(xj) φ Rd
Problem polega na tym, że musimy dodatkowo zdefiniować normy dla tych nieskończenie wymiarowych wektorów złożonych w specjalny sposób; szczegóły patrz papier.
Steinwart i in. daję również prostsze (według mojego myślenia) osadzenie w , przestrzeni Hilberta funkcji całkowitych kwadratowych od : Należy zauważyć, że jest sam w sobie funkcję z do . Zasadniczo jest to gęstość -wymiarowego gaussa ze średnią i kowariancją ; tylko stała normalizująca jest inna. Kiedy więc weźmiemyL2(Rd) Rd→R
To nie jedyne osadzenia, które działają.
Kolejna oparta jest na transformacji Fouriera, którą znakomity papier Rahimi i Recht ( Random Features for Large Scale Kernel Machines , NIPS 2007) zbliża się znakomicie.
Możesz to również zrobić za pomocą serii Taylora: w rzeczywistości nieskończona wersja Cottera, Kesheta i Srebro, Jawne aproksymacje jądra Gaussa , arXiv: 1109.4603 .
źródło
Wydaje mi się, że twoje drugie równanie będzie prawdziwe tylko wtedy, gdy jest odwzorowaniem liniowym (a zatem jest jądrem liniowym). Ponieważ jądro Gaussa jest nieliniowe, równość się nie utrzyma (z wyjątkiem być może granicy, ponieważ osiąga zero).ϕ K σ
źródło