Zrozumienie regresji logistycznej i prawdopodobieństwa

Jak naprawdę działa oszacowanie parametru / Szkolenie regresji logistycznej? Spróbuję umieścić to, co do tej pory mam.

Dane wyjściowe są danymi wyjściowymi funkcji logistycznej w postaci prawdopodobieństwa zależnego od wartości x: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Dla jednego wymiaru tak zwane szanse są zdefiniowane w następujący sposób: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Teraz dodajemy logfunkcję, aby uzyskać W_0 i W_1 w postaci liniowej: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Teraz do części problemowej Korzystanie z prawdopodobieństwa (Big X to y) Czy ktoś może powiedzieć, dlaczego dwa razy rozważamy prawdopodobieństwo y = 1? ponieważ: $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

i jak uzyskać z tego wartości ω?

regression logistic likelihood Silnik
źródło

Odpowiedzi:

Załóżmy ogólnie, że zdecydowałeś się wziąć model formularza

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

dla niektórych parametrów . Następnie po prostu zanotuj prawdopodobieństwo, tj $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

który jest taki sam jak

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Teraz zdecydowałeś się „założyć” (model)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

gdzie

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

więc wystarczy obliczyć formułę prawdopodobieństwa i wykonać algorytm optymalizacji w celu znalezienia , na przykład metody newtonów lub dowolnej innej metody opartej na gradiencie. $\text{argmax}_\Theta L(\Theta)$

Zauważ, że czasami ludzie mówią, że podczas regresji logistycznej nie zwiększają prawdopodobieństwa (jak to zrobiliśmy powyżej), ale raczej minimalizują funkcję straty

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

ale zauważ, że . $-\log(L(\Theta)) = l(\Theta)$

Jest to ogólny wzorzec w uczeniu maszynowym: strona praktyczna (minimalizująca funkcje strat, które mierzą, jak „zły” jest model heurystyczny) jest w rzeczywistości równa „stronie teoretycznej” (modelowanie jawnie za pomocą symbolu , maksymalizując wielkości statystyczne, takie jak prawdopodobieństwa), a w rzeczywistości wiele modeli, które nie wyglądają jak probabilistyczne (na przykład SVM), można ponownie zrozumieć w kontekście probabilistycznym i są one w rzeczywistości maksymalizacjami prawdopodobieństw. $P$

Fabian Werner
źródło

@Werner dziękuję za odpowiedź. Ale wciąż potrzebuję trochę wyjaśnienia. 1. czy mógłbyś wyjaśnić, do czego, u licha, pozostaje 2 w definicji skoro o ile rozumiem, interesuje mnie przypadek . i jak można uzyskać wartości i wielkie dzięki za pomoc!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

Silnik

@Engine: Duże „pi” jest produktem ... podobnie jak duża Sigma to suma ... rozumiesz czy też potrzebujesz dodatkowych wyjaśnień na ten temat? Na drugie pytanie: Powiedzmy, że chcemy zminimalizować funkcję i zaczynamy od ale załóżmy, że nie wiemy / nie możemy wyrazić / nie możemy wizualizować tak, jak ma to być skomplikowane. Teraz pochodną jest . Co ciekawe, jeśli mamy rację od minimum , wskazuje ona w prawo, a jeśli jesteśmy z niej, wskazuje w lewo. Matematycznie pochodna wskazuje kierunek „najsilniejszego wejścia”

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$

Fabian Werner

@ Silnik: W większej liczbie wymiarów zamieniasz pochodną na gradient, tzn. Zaczynasz w losowym punkcie i obliczasz gradient punkcie a jeśli chcesz zmaksymalizować, twój następny punkt to . Następnie obliczasz a następnie to i tak dalej. Nazywa się to gradientem wznoszenia / opadania i jest najczęstszą techniką maksymalizacji funkcji. Teraz robisz to za pomocą lub w notacji , aby znaleźć która maksymalizuje

x_{0}

$x_0$

\partial f

$\partial f$

x

$x$

x_{1}

$x_1$

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$

\partial f (x_{1})

$\partial f(x_1)$

x

$x$

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$

L (Θ)

$L(\Theta)$

L (ω)

$L(\omega)$

ω

$\omega$

L

$L$

Fabian Werner

@ Silnik: W ogóle nie jesteś zainteresowany sprawą ! Jesteś zainteresowany „ ” która „najlepiej wyjaśnia twoje dane”. Z the t pozwól modelowi „mówić za siebie” i wróć do przypadku ale przede wszystkim musisz skonfigurować model! Tutaj „najlepsze wyjaśnienie” oznacza „posiadanie najwyższego prawdopodobieństwa”, ponieważ ludzie tak wymyślili (i myślę, że jest to bardzo naturalne) ... istnieją jednak inne wskaźniki (różne funkcje utraty itp.) posługiwać się! Istnieją dwa produkty, ponieważ chcemy model wyjaśnić , jak również w „dobry”!

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$

y = 0

$y=0$

Fabian Werner

Twoja funkcja prawdopodobieństwa (4) składa się z dwóch części: iloczynu prawdopodobieństwa sukcesu tylko dla osób w próbie, które odniosły sukces, oraz iloczynu prawdopodobieństwa niepowodzenia tylko dla tych osób w próbie, które doświadczyły niepowodzenia. Biorąc pod uwagę, że każda osoba doświadcza sukcesu lub porażki, ale nie obu, prawdopodobieństwo pojawi się dla każdej osoby tylko raz. To właśnie oznacza i na dole znaków produktu. $, y_i=1$ $,y_i=0$

Współczynniki są uwzględnione w funkcji prawdopodobieństwa przez podstawienie (1) w (4). W ten sposób funkcja prawdopodobieństwa staje się funkcją . Celem maksymalnego prawdopodobieństwa jest znalezienie , która zmaksymalizuje prawdopodobieństwo. $\omega$ $\omega$

Maarten Buis
źródło

bardzo dziękuję za odpowiedź, przepraszam, ale nadal nie rozumiem. nie jest oznacza prawdopodobieństwo, że y = 0 [nie występuje] dla wszystkich y produktu. i odwrotnie dla y_i = 1. I wciąż po napisach, w jaki sposób mogę znaleźć wartości, licząc drugą pochodną? czy gradient? bardzo dziękuję za Twoją pomoc !

y_{i} = 0

$y_i = 0$

ω

$\omega$

Silnik

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$ należy rozumieć jako „produkt dla osób do , ale tylko jeśli Zatem pierwsza część dotyczy tylko osób w danych, które doświadczyły zdarzenia Podobnie druga część odnosi się tylko do osób, które nie przeżyły tego wydarzenia

i = 1

$i=1$

N

$N$

y = 1

$y=1$

Maarten Buis

Istnieje wiele możliwych algorytmów maksymalizacji funkcji prawdopodobieństwa. Najczęściej stosowana metoda Newtona-Raphsona obejmuje obliczenie pierwszej i drugiej pochodnej.

Maarten Buis,