Czy macierze jądra RBF są źle warunkowane?

Używam funkcji jądra RBF do implementacji jednego algorytmu uczenia maszynowego opartego na jądrze (KLPP), otrzymanej macierzy jądra jest bardzo źle uwarunkowany. Liczba stanów L2-norm wynosi $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$

10^{17} - 10^{64}

$10^{17}-10^{64}$

Czy jest jakiś sposób, aby uczynić go dobrze uwarunkowanym? Myślę, że parametr $\sigma$ musi zostać dostrojony, ale nie wiem dokładnie.

Dzięki!

linear-algebra machine-learning interpolation support-vector-machines ZeyuHu
źródło

cóż, jeśli

σ_{m}

$\sigma_m$ numer warunku.

user189035

Odpowiedzi:

Zmniejszenie szerokości jądra $\sigma_m$ zwykle zmniejsza liczbę warunków.

Jednak macierze jądra mogą stać się liczbą pojedynczą lub zbliżoną do liczby pojedynczej dla dowolnej funkcji bazowej lub rozkładu punktowego, pod warunkiem, że funkcje podstawowe nakładają się. Powód tego jest w rzeczywistości dość prosty:

Macierz jądra $K$ jest pojedyncza, gdy jej wyznacznik $\det(K)$ wynosi zero.
Zamiana dwóch punktów i w interpolacji jest równoważna wymianie dwóch wierszy w , zakładając, że twoje punkty próbne pozostaną stałe. $x_i$ $x_j$ $K$
Zamiana dwóch wierszy w macierzy zmienia znak jej wyznacznika.

Teraz wyobraź sobie, że wybierasz dwa punkty i i powoli obracasz je, aby zamieniały się miejscami. W tym czasie wyznacznik zmieni znak, stając się zerem w pewnym punkcie pomiędzy. W tym momencie jest z definicji liczbą pojedynczą. $x_i$ $x_j$ $K$ $K$

Pedro
źródło

Czy macierze K nie są symetryczne - zamiana dwóch punktów zamienia wiersze i kolumny?

denis

@Denis Tak jest tylko w przypadku, gdy twoje węzły i punkty próbne są takie same i przesuwasz oba. Właśnie dlatego w drugim punkcie napisałem „zakładając, że twoje punkty próbne pozostaną stałe”.

Pedro

matryca jądra Gaussa (pytanie OP) jest w każdym razie dodatnia na wpół określona?

denis

@Denis: Ponownie, jest to pytanie, jak zdefiniujesz swój problem interpolacji RBF. Rozważmy przypadku najogólniejszym gdzie masz RBFs koncentruje się na punkty , , a chcesz zminimalizować interpolacji Pod punktów , . Przykład plakatu zakłada i . Jeśli początkowo ustawione i , a potem po prostu przesunąć możemy trywialnie wygenerować swoistą .

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

Pedro

Kilka sugestii:

Wybierz średni dystans | losowe - najbliższe . (Niedrogie przybliżenie punktów równomiernie rozmieszczonych w sześcianie jednostkowym w , wynosi 0,5 / .) Chcemy być duży dla pobliżu , mały dla szumu tła; narysuj to dla kilku losowych . $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
Przesuń od 0, , lub mniej więcej; to znaczy, ureguluj. $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
Spójrz na wagi z rozwiązywania . Jeśli niektóre nadal są ogromne (niezależnie od liczby warunków), to raczej potwierdza Boyda (poniżej), że Gaussowski RBF jest zasadniczo słaby. $(K + \lambda I) w = f$

(Jedną alternatywą dla RBF jest ważenie w odwrotnej odległości, IDW. Ma tę zaletę, że automatyczne skalowanie, to samo dla najbliższych odległości 1 2 3 jak dla 100 200 300 Również znajduję wyraźny wybór użytkownika , liczba bliskich sąsiadów do rozważenia, jaśniejsze niż wyszukiwanie siatki w .) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

John P. Boyd, Bezużyteczność szybkiej transformaty Gaussa do sumowania szeregów funkcji radialnej podstawy Gaussa , mówi

interpolant Gaussa RBF jest źle uwarunkowany dla większości serii w tym sensie, że interpolant jest niewielką różnicą terminów o wykładniczo dużych współczynnikach.

Mam nadzieję że to pomoże; podziel się swoim doświadczeniem.

denis
źródło