Interpretowanie odległości od hiperpłaszczyzny w SVM

Mam kilka wątpliwości co do intuicyjnego zrozumienia SVM. Załóżmy, że przeszkoliliśmy model SVM do klasyfikacji przy użyciu standardowych narzędzi, takich jak SVMLight lub LibSVM.

1. Kiedy używamy tego modelu do przewidywania danych testowych, model generuje plik mający wartości „alfa” dla każdego punktu testowego. Jeśli wartość alfa jest dodatnia, punkt testowy należy do klasy 1, w przeciwnym razie należy do klasy 2. Czy możemy powiedzieć, że punkt testowy o większej wartości „alfa” należy do odpowiedniej klasy o „wyższym” prawdopodobieństwie?

2. Podobne do pierwszego pytania, kiedy mamy przeszkolonego SVM. SV leżą bardzo blisko hiperpłaszczyzny. Czy to oznacza, że ​​SV należy do tej klasy z dużym prawdopodobieństwem? Czy możemy powiązać prawdopodobieństwo punktu należącego do klasy z jego odległością od „hiperpłaszczyzny”? Czy wartość „alfa” oznacza odległość od „hiperpłaszczyzny”?

Dzięki za wkład.

Pozwól, że najpierw odpowiem na twoje pytanie. SVM nie jest modelem probabilistycznym. Jednym z powodów jest to, że nie odpowiada to normalizowanemu prawdopodobieństwu. Na przykład, w uregulowanej najmniejszych kwadratów mieć funkcję strat a regularizer ‖ wag ‖ 2 2 . Wektor masy jest uzyskiwany przez minimalizację sumy tych dwóch. Jest to jednak równoważne z maksymalizacją logarytmu tylnego w przy danych p ( w | ( $\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$ , który widać jako iloczyn prawdopodobieństwo Gaussa i przeor Gaussa na w ($p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$upewnia się, że się normalizuje). Do funkcji prawdopodobieństwa Gaussa dochodzisz z funkcji straty przez odwrócenie jej znaku i potęgowanie go. Jeśli jednak zrobisz to z funkcją straty SVM, prawdopodobieństwo logarytmiczne nie będzie znormalizowanym modelem probabilistycznym.

Istnieją próby przekształcenia SVM w jeden. Najbardziej godnym uwagi, który - jak sądzę - jest również zaimplementowany w libsvm, jest:

John Platt: Wyniki probabilistyczne dla wektorów pomocniczych i porównanie ze znormalizowanymi metodami wiarygodności (NIPS 1999): http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$