Jak udowodnić, że nie ma skończonej przestrzeni cech dla jądra Gaussa RBF?

14

Jak udowodnić, że dla radialnej funkcji bazowej nie jest ograniczony-wymiarowej przestrzeni funkcjaHtak, że w przypadku niektórychcp:RnHmamyk(x,y)=Φ(x),Φ(y)?k(x,y)=exp(||xy||2)2σ2)HΦ:RnHk(x,y)=Φ(x),Φ(y)

Lew
źródło
Czy to pytanie jest bardziej odpowiednie dla matematyki?
Leo
1
Jednym z możliwych planów ataku byłoby pokazanie podprzestrzeni która nie jest zamknięta. H
Nick Alger,
@Nick Alger: może to pomaga: stats.stackexchange.com/questions/80398/…

Odpowiedzi:

11

Twierdzenie Moore'a-Aronszajna gwarantuje, że symetryczne dodatnie określone jądro jest powiązane z unikalną przestrzenią jądra Hilberta. (Pamiętaj, że chociaż RKHS jest unikalny, samo mapowanie nie jest.)

Dlatego na twoje pytanie można odpowiedzieć, pokazując nieskończenie wymiarowe RKHS odpowiadające jądru Gaussa (lub RBF). Dogłębne studium tego można znaleźć w „ Wyraźnym opisie przestrzeni Hilberta jąder reprodukujących jąder Gaussa RBF ”, Steinwart i in.

PierreChc
źródło
2

k(x,y)X×XXx1,...,xmX(k(xja,xjot))m×mΦ(x1),...,Φ(xm)są liniowo niezależne. Zatem przestrzeń funkcjiH. dla jądra k nie może mieć skończonej liczby wymiarów.

Lew
źródło
Tutaj znajdziesz bardziej „intuicyjne” wyjaśnienie, że Φmożna zmapować na rozpiętość wymiaru równą wielkości próbki treningowej, nawet dla nieskończonej próbki treningowej: stats.stackexchange.com/questions/80398/…