Który zakres wyszukiwania do określania optymalnych parametrów C i gamma SVM?

Używam SVM do klasyfikacji i próbuję określić optymalne parametry dla jądra liniowego i RBF. W przypadku jądra liniowego używam sprawdzania krzyżowego wyboru parametrów w celu określenia C, a dla jądra RBF używam wyszukiwania siatki w celu określenia C i gamma.

Mam 20 (numerycznych) funkcji i 70 przykładów szkoleniowych, które należy podzielić na 7 klas.

Którego zakresu wyszukiwania należy użyć do określenia optymalnych wartości parametrów C i gamma?

Sprawdź Praktyczny przewodnik po klasyfikacji SVM dla niektórych wskaźników, szczególnie na stronie 5.

Zalecamy „wyszukiwanie siatki” na $C$ i $\gamma$ przy użyciu weryfikacji krzyżowej. Wypróbowuje się różne pary wartości $(C,\gamma)$ i wybiera się tę o najlepszej dokładności walidacji krzyżowej. Odkryliśmy, że wypróbowanie wykładniczo rosnących sekwencji $C$ i $\gamma$ jest praktyczną metodą identyfikacji dobrych parametrów (na przykład ).$C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Pamiętaj, aby najpierw znormalizować swoje dane, a jeśli możesz, zbierz więcej danych, ponieważ na podstawie ich wyglądu problem może być mocno nieokreślony.

Sprawdź rozdział 2.3.2 tego artykułu autorstwa Chapelle i Ziena. Mają dobrą heurystykę, aby wybrać dobry zakres wyszukiwania dla jądra RBF i C dla SVM. Cytuję$\sigma$$C$

Aby określić dobre wartości pozostałych wolnych parametrów (np. Według CV), ważne jest wyszukiwanie we właściwej skali. Dlatego naprawiamy wartości domyślne dla i σ, które mają właściwy rząd wielkości. W danej c -class problemu używamy 1 / c kwantylem odległościach parami D' p í j wszystkich danych punktów jako domyślny dla Ď . Domyślną wartością dla C są odwrotności wariancji empirycznej s 2 w przestrzeni cech, którą można obliczyć s 2 = $C$$\sigma$$c$$1/c$$D^\rho_{ij}$$\sigma$$C$$s^2$ zmacierzyKjądran×n.$s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$$n\times n$$K$

Następnie używają wielokrotności (np dla k ∈ { - 2 , . . . , 2 } ) wartości domyślnej jako zakres wyszukiwania w siatce-wyszukiwać za pomocą sprawdzianu krzyżowego. To zawsze działało dla mnie bardzo dobrze.$2^k$$k\in \{-2,...,2\}$

Oczywiście, my @ciri powiedziałem, normalizacja danych itp. Jest zawsze dobrym pomysłem.