Zrozumienie regresji procesu Gaussa poprzez nieskończony wymiarowy widok funkcji bazowej

Często mówi się, że regresja procesu gaussowskiego odpowiada (GPR) bayesowskiej regresji liniowej z (być może) nieskończoną ilością funkcji bazowych. Obecnie staram się to szczegółowo zrozumieć, aby uzyskać intuicję, jakie modele mogę wyrazić za pomocą GPR.

Czy uważasz, że to dobre podejście do zrozumienia GPR?

W książce Procesy gaussowskie dla uczenia maszynowego Rasmussen i Williams pokazują, że zestaw procesów gaussowskich opisanych przez sparametryzowane jądro wykładnicze w kwadracie można równoważnie opisać jako regresję bayesowską z wcześniejszym przekonaniemo wagach i nieskończoną ilością funkcji bazowych postaci

k (x, x^{'}; l) = σ_{p}^{2)} \exp (- \frac{(x - x)^{2)}}{2) l^{2)}})

$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$

w \sim N (0, σ_{p}^{2} I)

$w \sim \mathcal{N}(0,\sigma_p^2 I)$

Tak więc parametryzacja jądra mogłaby w pełni przełożyć się na parametryzację funkcji podstawowych.

ϕ_{do} (x; l) = \exp (- \frac{(x - do)^{2)}}{2) l^{2)}})

$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$

Czy parametryzację zróżnicowanego jądra zawsze można przełożyć na parametryzację wcześniejszych i podstawowych funkcji, czy też istnieją zróżnicowane jądra, w których np. Liczba funkcji podstawowych zależy od konfiguracji?

$k(x,x')$

k (x, x^{'}) = \sum_{ja = 1}^{\infty} λ_{ja} ϕ_{ja} (x) ϕ_{ja} (x^{'})

$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$

ϕ_{i}

$\phi_i$

w \sim N (0, diag ([λ_{1}^{2}, \dots]))

$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$

ϕ_{i}

$\phi_i$

k (x, x^{'}, θ)

$k(x,x',\theta)$

θ

$\theta$

Moje następne pytanie dotyczy odwrotności twierdzenia mercerów.

Które zestawy funkcji podstawowych prowadzą do prawidłowych jąder?

I rozszerzenie

Które zestawy sparametryzowanych funkcji bazowych prowadzą do prawidłowych zróżnicowanych jąder?

gaussian-process kernel-trick basis-function Julian Karls
źródło

Odpowiedzi:

Oto kilka uwag. Być może ktoś inny może podać szczegóły.

1) Reprezentacje podstawowe są zawsze dobrym pomysłem. Trudno ich uniknąć, jeśli chcesz rzeczywiście wykonać obliczenia za pomocą funkcji kowariancji. Podstawowa rozbudowa może dać ci przybliżenie do jądra i coś do pracy. Mamy nadzieję, że znajdziesz podstawę, która ma sens dla problemu, który próbujesz rozwiązać.

$\theta$ $\theta$

Zazwyczaj liczba funkcji bazowych będzie (licznie) nieskończona, więc liczba nie będzie się zmieniać wraz z parametrem, chyba że niektóre wartości spowodują degenerację jądra.

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$ $w$ $diag[\lambda_1^2, \ldots]$

3) Który zestaw funkcji podstawowych tworzy prawidłowe jądra? Jeśli myślisz o podstawach własnych, funkcje muszą być ortogonalne w odniesieniu do pewnej miary. Istnieją dwa problemy. 1) Wynikowe jądro musi być zdecydowanie dodatnie ... i to jest OK, jeśli $\lambda_i$ $\lambda_i$ $x$

Jeśli funkcje podstawowe nie są ortogonalne, trudniej będzie wykazać, że zdefiniowana na ich podstawie kowariancja jest dodatnia. Oczywiście w tym przypadku nie masz do czynienia z ekspansją własną, ale z innym sposobem przybliżenia funkcji zainteresowania.

Jednak nie sądzę, że ludzie zwykle zaczynają od szeregu funkcji, a następnie próbują zbudować z nich jądro kowariancji.

RE: Różniczkowalność jądra i różniczkowalność funkcji podstawowych. Właściwie nie znam odpowiedzi na to pytanie, ale proponuję następujące spostrzeżenie.

Analiza funkcjonalna przebiega przez aproksymowanie funkcji (z nieskończonej przestrzeni wymiarowej) skończonymi sumami prostszych funkcji. Aby to zadziałało, wszystko zależy od rodzaju konwergencji. Zazwyczaj, jeśli pracujesz nad zwartym zestawem o silnych właściwościach konwergencji (jednolita zbieżność lub absolutna sumowalność) funkcji, uzyskujesz rodzaj intuicyjnego rezultatu, którego szukasz: właściwości prostych funkcji przechodzą na funkcja limitu - np. jeśli jądro jest funkcją różniczkowalną parametru, funkcje rozszerzające muszą być funkcjami różnicowalnymi tego samego parametru i odwrotnie. W przypadku słabszych właściwości konwergencji lub domen kompaktowych tak się nie dzieje. Z mojego doświadczenia wynika, że każdy „rozsądny” pomysł, jaki sobie wymyślisz, stanowi przeciwny przykład.

Uwaga: Aby zapobiec możliwemu zamieszaniu ze strony czytelników tego pytania, zwróć uwagę, że ekspansja Gaussa w punkcie 1 nie jest przykładem ekspansji własnej w punkcie 2.

Placidia
źródło