Oblicz i wykreśl granicę decyzyjną LDA

Widziałem wykres LDA (liniowa analiza dyskryminacyjna) z granicami decyzyjnymi z elementów uczenia statystycznego : wprowadź opis zdjęcia tutaj

Rozumiem, że dane są rzutowane na podprzestrzeń o niższych wymiarach. Chciałbym jednak wiedzieć, w jaki sposób uzyskujemy granice decyzji w oryginalnym wymiarze, tak że mogę rzutować granice decyzji na podprzestrzeń o niższych wymiarach (lubi czarne linie na powyższym obrazku).

Czy istnieje wzór, którego można użyć do obliczenia granic decyzji w oryginalnym (wyższym) wymiarze? Jeśli tak, to jakich danych potrzebuje ta formuła?

r references discriminant-analysis Nazywam się Jeff
źródło

Zamiast granic decyzyjnych prawdopodobnie znajdziesz większą użyteczność w rozważaniu późniejszych prawdopodobieństw członkostwa w klasie. Można tego dokonać przy mniejszej liczbie założeń, stosując wielomianową (wielomianową) regresję logistyczną, ale można to również zrobić za pomocą LDA (prawdopodobieństwa późniejsze).

Frank Harrell

W ramach LDA te granice klasyfikacji stanowią tzw . Mapę terytorialną . Pracuję z SPSS i drukuje to , chociaż w formacie tekstowym. Według jednego projektanta SPSS granice można łatwo znaleźć dzięki praktycznemu podejściu:

ttnphns

(ciąg dalszy) każdy punkt cienkiej siatki jest klasyfikowany przez LDA, a następnie, jeśli punkt został sklasyfikowany tak, jak jego sąsiedzi, punkt ten nie jest pokazany. Zatem na końcu pozostały tylko granice jako „pasma niejednoznaczności”. Cytat:

they (bondaries) are never computed. The plot is drawn by classifying every character cell in it, then blanking out all those surrounded by cells classified into the same category

ttnphns

Ta konkretna postać w Hastie i in. został stworzony bez obliczania równań granic klas. Zamiast tego zastosowano algorytm opisany przez @ttnphns w komentarzach, patrz przypis 2 w sekcji 4.3, strona 110:

Dla tej liczby i wielu podobnych liczb w książce obliczamy granice decyzji za pomocą wyczerpującej metody konturowania. Obliczamy regułę decyzyjną na drobnej sieci punktów, a następnie używamy algorytmów konturowych do obliczania granic.

Kontynuuję jednak opisywanie sposobu uzyskiwania równań granic klas LDA.

Zacznijmy od prostego przykładu 2D. Oto dane z zestawu danych Iris ; Odrzucam pomiary płatka i biorę pod uwagę tylko długość i szerokość. Trzy klasy są oznaczone kolorami czerwonym, zielonym i niebieskim:

Zestaw danych Iris

$\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$ $\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

$1$ $2$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$y=ax+b$ $a$ $b$

$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

LDA zestawu danych Iris, granice decyzji

Trzy linie przecinają się w jednym punkcie, jak należało się spodziewać. Granice decyzji są podawane przez promienie rozpoczynające się od punktu przecięcia:

LDA z zestawu danych Iris, granice ostatecznej decyzji

$K\gg 2$ $K(K-1)/2$

$D>2$ $\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$ $D-1$

dodatek

$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

$\mathbf{W}^{-1}$ $\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$
$\mathbf x$ $k$ $(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$ $1$ $2$ $\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$
$\mathbf{W}$ $\boldsymbol \mu_1 - \boldsymbol \mu_2$ $\mathbf{W}$ $\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$ $\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$ $\mathbf S$ $\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S^{-1}$ $\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$ $\mathbf S$

ameba mówi Przywróć Monikę
źródło

Nie studiowałem twojej odpowiedzi. Wydaje się wyrafinowane i może mieć rację. Co na temat praktycznego i łatwiejszego podejścia „kropić punkty, sklasyfikować, a następnie wydedukować granice”, które nakreśliłem w komentarzu? Czy twoje podejście jest porównywalne z jego wynikami (które są oczywiście poprawne)? Co myślisz?

ttnphns,

@ttnphns: Jedyną częścią techniczną mojej odpowiedzi (lista z 3 pozycjami) jest kilka dowodów i można ją bezpiecznie pominąć. Reszta, jak sądzę, nie jest szczególnie wyrafinowana! Może powinienem przenieść tę „dodatkową” część w dół, jako dodatek? W odniesieniu do twoich komentarzy: Myślę, że jest to prawidłowe podejście i podoba mi się wygląd ASCII „mapy terytorialnej” SPSS. Być może mógłbyś przenieść swoje komentarze do osobnej odpowiedzi (i podać przykładowy obraz mapy SPSS), myślę, że przydałoby się to w przyszłości. Wyniki powinny oczywiście być równoważne.

ameba mówi Przywróć Monikę

@ttnphns: Okazuje się, że Hastie i in. użył dokładnie opisanej tutaj metody do wykreślenia ich figur, w tym tej przedstawionej w OP. Znalazłem przypis mówiący dokładnie to (i zaktualizowałem swoją odpowiedź, cytując ją na początku).

ameba mówi Przywróć Monikę

Waouh! doskonała odpowiedź (3 lata później!) Czy mogę zapytać, jak narysować segmenty w tym konkretnym problemie?

Xavier Bourret Sicotte

Oblicz i wykreśl granicę decyzyjną LDA

Odpowiedzi: