Czy proces Gaussa (regresja) ma uniwersalną właściwość aproksymacji?

Czy jakakolwiek funkcja ciągła na [a, b], gdzie aib są liczbami rzeczywistymi, może być aproksymowana lub arbitralnie bliska funkcji (w niektórych normach) za pomocą procesów Gaussa (regresja)?

Jak zauważa @Dougal, istnieją dwa różne sposoby interpretacji pytania. Są blisko spokrewnieni, nawet jeśli może się to nie wydawać.

Pierwsza interpretacja jest następująca: niech będzie zwartym podzbiorem (zwartość jest fundamentalna dla wszystkich następujących elementów !!!), niech będzie ciągła funkcja kowariancji (lub jądro) zdefiniowana na , i oznacza za pomocą znormalizowaną przestrzeń funkcji ciągłych na , wyposażoną w maksymalną normę . Dla dowolnej funkcji , można zbliżyć do wcześniej określonej tolerancji przez funkcję w RKHS (Reproducing Kernel Hilbert Space) powiązaną zR d k ( x , x ) X × X C ( X ) X | | ⋅ | | ∞ f ∈ C ( X ) f ϵ k$X$$\mathbb{R}^d$$k(\mathbf{x},\mathbf{x})$$X\times X$$C(X)$$X$$||\cdot||_{\infty}$$f\in C(X)$$f$$\epsilon$$k$? Możesz się zastanawiać, czym jest RKHS i co to wszystko ma wspólnego z regresją procesu Gaussa. RKHS jest zamknięciem przestrzeni wektorowej utworzonej przez wszystkie możliwe skończone liniowe kombinacje wszystkich możliwych funkcji w którym . Jest to bardzo ściśle związane z regresją procesu Gaussa, ponieważ biorąc pod uwagę proces Gaussa przed na przestrzeni , a następnie (zamknięcie) przestrzenią wszystkich możliwych tylnych środków, które można wygenerować za pomocą regresji procesu Gaussa, jest dokładnie RKHS. W rzeczywistości wszystkie możliwe tylne środki mają formęf y ( x ) = k ( x , y ) y ∈ X G P ( 0 , k ( x , $K(X)$$f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$$\mathbf{y}\in X$$GP(0,k(\mathbf{x},\mathbf{x}))$$C(X)$

tzn. są skończonymi liniowymi kombinacjami funkcji . Tak więc, że skuteczne z zapytaniem, czy z uwagi na Gaussa procesu przed o , dla każdej funkcji jest jest zawsze funkcją w przestrzeni (zamknięciu) wszystkich funkcji, które mogą być generowane przez GPR, która jest tak bliska, jak to pożądane dla .$f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$$GP(0,k(\mathbf{x},\mathbf{x}))$$C(X)$$f\in C(X)$$f^*$$f$

Odpowiedź, w przypadku niektórych konkretnych jąder (w tym klasycznego jądra z kwadratem wykładniczym, ale bez jądra wielomianowego) brzmi „ tak” . Można udowodnić, że dla takich jąder jest gęsty w , tj. Dla dowolnego i dla dowolnej tolerancji , istnieje w takie jak że . Zwróć uwagę na założenia: jest zwarty, jest ciągły, a jest ciągłym jądrem posiadającym tak zwaną uniwersalną właściwość aproksymacji. Zobacz tutajC ( X ) f ∈ C ( X ) ϵ $K(X)$$C(X)$$f\in C(X)$$\epsilon$ K ( X ) | | f - f ∗ | | ∞ < ϵ X f $f^*$$K(X)$$||f-f^*||_{\infty}<\epsilon$$X$$f$$k$ dla pełnego dowodu w bardziej ogólnym (skomplikowanym) kontekście.

Ten wynik jest znacznie słabszy niż na pierwszy rzut oka. Nawet jeśli znajduje się w (zamknięciu) przestrzeni tylnych środków, które mogą być generowane przez GPR, nie udowodniliśmy, że jest to szczególna tylna średnia zwrócona przez GPR, dla zestawu treningowego wystarczająco dużego, gdzie oczywiście zestaw treningowy składa się z głośnych obserwacji w punktach . Nie udowodniliśmy nawet, że tylna wartość zwrócona przez GPR w ogóle się zbiega, dla ! To właściwie druga interpretacja zaproponowana przez @Dougal. Odpowiedź na to pytanie zależy od odpowiedzi na pierwsze pytanie: jeśli nie ma żadnej funkcji f x 1 , … , x n n → ∞ f ∗$f^*$$f$$\mathbf{x}_1,\dots,\mathbf{x}_n$$n \to \infty$$f^*$w RKHS, który jest „dobrym przybliżeniem” do , oczywiście nie możemy mieć nadziei, że tylna wartość zwrócona przez GPR będzie do niej zbieżna. To jednak inne pytanie. Jeśli chcesz również uzyskać odpowiedź na to pytanie, zadaj nowe pytanie.$f$