Jakie są „współczynniki liniowych dyskryminatorów” w LDA?

W Rużywam ldafunkcji z biblioteki MASSdo klasyfikacji. Jak rozumiem LDA, wejście $x$ otrzyma etykietę $y$ , która maksymalizuje $p(y|x)$ , prawda?

Ale kiedy pasuję do modelu, w którym

Edycja: aby odtworzyć wynik poniżej, najpierw uruchom:

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

Rozumiem wszystkie informacje z powyższego wyjścia, ale jedno, co jest LD1 ? Przeszukuję go w Internecie, czy jest to wynik liniowej dyskryminacji ? Co to jest i dlaczego go potrzebuję?

AKTUALIZACJA

Przeczytałem kilka postów (takich jak ten i ten ), a także przeszukuję sieć w poszukiwaniu DA, a teraz oto, co myślę o DA lub LDA.

1. Można go użyć do dokonania klasyfikacji, a gdy jest to celem, mogę zastosować podejście Bayesa, to znaczy obliczyć tylne $p(y|x)$ dla każdej klasy $y_i$ , a następnie zaklasyfikować $x$ do klasy o najwyższej tylny. Dzięki takiemu podejściu nie muszę wcale szukać osób dyskryminujących, prawda?

2. Jak czytam w poście , DA lub przynajmniej LDA ma przede wszystkim na celu zmniejszenie wymiarów , dla klas $K$ i przestrzeni predyktora $D$ dim mogę rzutować $D$ dim $x$ na nową $(K-1)$ przestrzeń funkcji dim $z$ , to jest,

   $$\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$$ ,$z$można postrzegać jako przekształcony wektor cech z oryginalnego$x$, a każde$w_i$jest wektorem, na któryrzutowane jest$x$.

Czy mam rację co do powyższych stwierdzeń? Jeśli tak, mam następujące pytania:

1. Co to jest dyskryminujący ? Czy każdy wpis $z_i$ w wektorze $z$ jest dyskryminujący? Lub $w_i$ ?

2. Jak dokonać klasyfikacji za pomocą dyskryminatorów?

Jeśli pomnożysz każdą wartość LDA1(pierwszego liniowego dyskryminatora) przez odpowiednie elementy zmiennych predykcyjnych i zsumujesz je ( + - 0,5135293 × ), otrzymasz wynik dla każdego respondenta. Ten wynik wraz z poprzednim służy do obliczenia prawdopodobieństwa a posteriori$-0.6420190\times$Lag1$+ -0.5135293\times$Lag2 przynależności do klasy (istnieje wiele różnych wzorów na to). Klasyfikacji dokonuje się na podstawie prawdopodobieństwa a posteriori, przy czym przewiduje się, że obserwacje będą należały do ​​klasy, dla której mają największe prawdopodobieństwo.

Poniższy wykres ilustruje związek między wynikiem, prawdopodobieństwem a posteriori i klasyfikacją dla zestawu danych użytego w pytaniu. Podstawowe wzorce zawsze zachowują się w przypadku dwóch grup LDA: istnieje mapowanie 1 do 1 między wynikami a prawdopodobieństwem a posteriori, a przewidywania są równoważne, jeśli są wykonane z prawdopodobieństw a posteriori lub wyników.

Odpowiedzi na pytania częściowe i inne komentarze

• Chociaż LDA można wykorzystać do redukcji wymiarów, nie dzieje się tak w tym przykładzie. W przypadku dwóch grup powodem, dla którego wymagana jest tylko jedna ocena na obserwację, jest to, że wszystko jest potrzebne. Wynika to z faktu, że prawdopodobieństwo bycia w jednej grupie jest uzupełnieniem prawdopodobieństwa bycia w drugiej grupie (tj. Sumują się do 1). Możesz to zobaczyć na wykresie: wyniki poniżej -4 są klasyfikowane jako należące do grupy Down , a wyższe wyniki są przewidywane jako Up .

• Czasami wektor wyników nazywa się a discriminant function. Czasami współczynniki nazywa się to. Nie jestem pewien, czy któreś z nich jest poprawne. Uważam, że MASS discriminantodnosi się do współczynników.

• Funkcja pakietu MASS ldawytwarza współczynniki w inny sposób niż większość innych programów LDA. Alternatywne podejście oblicza jeden zestaw współczynników dla każdej grupy, a każdy zestaw współczynników ma punkt przecięcia. Po obliczeniu funkcji dyskryminacyjnej (wyników) przy użyciu tych współczynników, klasyfikacja opiera się na najwyższym wyniku i nie ma potrzeby obliczania prawdopodobieństw późniejszych w celu przewidzenia klasyfikacji. Umieściłem trochę kodu LDA w GitHub, który jest modyfikacją MASSfunkcji, ale daje te wygodniejsze współczynniki (pakiet jest wywoływany Displayr/flipMultivariates, a jeśli utworzysz obiekt za pomocą LDA, możesz wyodrębnić współczynniki za pomocąobj$original$discriminant.functions ).

• Umieściłem R dla kodu wszystkie koncepcje w tym poście tutaj .

• Nie ma jednego wzoru na obliczenie prawdopodobieństw a posteriori na podstawie wyniku. Najłatwiejszym sposobem na zrozumienie opcji jest (w każdym razie dla mnie) spojrzenie na kod źródłowy, używając:

library(MASS) getAnywhere("predict.lda")

Teoria leżąca u podstaw tej funkcji to „Metoda Fishera do rozróżniania wielu populacji”. Polecam rozdział 11.6 w zastosowanej wielowymiarowej analizie statystycznej (ISBN: 9780134995397) w celach informacyjnych.