Która funkcja strat jest prawidłowa dla regresji logistycznej?

Czytałem o dwóch wersjach funkcji straty dla regresji logistycznej, która z nich jest poprawna i dlaczego?

1. Z uczenia maszynowego , Zhou ZH (po chińsku), z :$\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

   $$l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$$

2. Z mojego kursu na uczelni, z :$z_i = y_if(x_i)=y_i(w^Tx_i + b)$

   $$L(z_i)=\log(1+e^{-z_i}) \tag 2$$

---

Wiem, że pierwsza to kumulacja wszystkich próbek, a druga dotyczy jednej próbki, ale jestem bardziej ciekawy różnicy w postaci dwóch funkcji strat. W jakiś sposób mam wrażenie, że są one równoważne.

Relacja wygląda następująco: .$l(\beta) = \sum_i L(z_i)$

Zdefiniuj funkcję logistyczną jako . Posiadają właściwość, że . Lub innymi słowy:$f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$$f(-z) = 1-f(z)$

$$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$$

Jeśli weźmiesz wzajemność obu stron, weź dziennik, który otrzymujesz:

$$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$$

Odejmij z obu stron, a powinieneś to zobaczyć:$z$

$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$$

Edytować:

W tej chwili ponownie czytam tę odpowiedź i jestem zdezorientowany, jak otrzymałem aby być równym . Być może w pierwotnym pytaniu jest literówka.- y i β T x i + l n ( 1 + e y i β T x i$-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

Edycja 2:

W przypadku, gdy w pierwotnym pytaniu nie było literówki, wydaje się, że @ManelMorales ma rację, zwracając uwagę na fakt, że gdy , funkcję masy prawdopodobieństwa można zapisać jako , ze względu na właściwość, że . Piszę to tutaj inaczej, ponieważ wprowadza on nową ekwiwokację w notacji . Reszta następuje po przyjęciu ujemnego prawdopodobieństwa logarytmu dla każdego kodowania . Zobacz jego odpowiedź poniżej, aby uzyskać więcej informacji.P ( Y i = y i ) = f ( y i β T x i ) f ( - z ) = 1 - f ( z ) z i$y \in \{-1,1\}$$P(Y_i=y_i) = f(y_i\beta^Tx_i)$$f(-z) = 1 - f(z)$$z_i$$y$

OP błędnie uważa, że ​​związek między tymi dwiema funkcjami wynika z liczby próbek (tj. Pojedynczych vs. wszystkich). Jednak faktyczna różnica polega na tym, jak wybieramy nasze etykiety szkoleniowe.

W przypadku klasyfikacji binarnej możemy przypisać etykiety lub .$y=\pm1$$y=0,1$

Jak już stwierdzono, funkcja logistyczna jest dobrym wyborem, ponieważ ma postać prawdopodobieństwa, tj. i jako . Jeśli wybierzemy etykiety możemy przypisać $\sigma(z)$$\sigma(-z)=1-\sigma(z)$$\sigma(z)\in (0,1)$$z\rightarrow \pm \infty$$y=0,1$

$$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$$

które można zapisać bardziej zwięźle jako .$\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

Łatwiej jest zmaksymalizować prawdopodobieństwo dziennika. Maksymalizacja prawdopodobieństwa dziennika jest taka sama jak minimalizacja ujemnego prawdopodobieństwa dziennika. Dla próbek , po przyjęciu logarytmu naturalnego i pewnych uproszczeń, dowiemy się:$m$$\{x_i,y_i\}$

$$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$$

Pełne wyprowadzenie i dodatkowe informacje można znaleźć w tym notesie jupyter . Z drugiej strony moglibyśmy zamiast tego użyć etykiet . To całkiem oczywiste, że możemy to przypisać$y=\pm 1$

$$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$$

Oczywiste jest również, że . Postępując tak samo jak poprzednio, minimalizujemy w tym przypadku funkcję strat$\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

$$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Tam, gdzie następuje ostatni krok po tym, jak weźmiemy odwrotność indukowaną znakiem ujemnym. Chociaż nie powinniśmy porównywać tych dwóch form, biorąc pod uwagę, że w każdej formie przyjmuje różne wartości, niemniej te dwie są równoważne:$y$

$$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$$

Przypadek jest trywialny do pokazania. Jeśli , to po lewej stronie i po prawej stronie.$y_i=1$$y_i \neq 1$$y_i=0$$y_i=-1$

Chociaż mogą istnieć podstawowe powody, dla których mamy dwie różne formy (patrz: Dlaczego istnieją dwie różne formuły / zapisy strat logistycznych? ), Jednym z powodów wyboru tego pierwszego są względy praktyczne. W pierwszym przypadku możemy użyć właściwości aby w prosty sposób obliczyć i , z których oba są potrzebne do analizy zbieżności (tj. do określenia wypukłości funkcji straty przez obliczenie Hesji ).$\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$$\nabla l(z)$$\nabla^2l(z)$

Nauczyłem się funkcji straty dla regresji logistycznej w następujący sposób.

Regresja logistyczna wykonuje klasyfikację binarną, a więc wyjścia etykiety są binarne, 0 lub 1. Niech będzie prawdopodobieństwem, że wyjście binarne wynosi 1, biorąc pod uwagę wektor cech wejściowych . Współczynniki to wagi, których algorytm próbuje się nauczyć.$P(y=1|x)$$y$$x$$w$

$$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$$

Ponieważ regresja logistyczna jest binarna, prawdopodobieństwo wynosi po prostu 1 minus powyższy termin.$P(y=0|x)$

$$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$$

Funkcja straty jest sumą (A) wyniku pomnożonego przez i (B) wyjścia pomnożonego przez dla jednego przykładu treningowego, zsumowanego ponad przykładów szkoleniowych.$J(w)$$y=1$$P(y=1)$$y=0$$P(y=0)$$m$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$$

gdzie oznacza etykietę w danych treningowych. Jeżeli przykład szkolenie ma etykietę , a , opuszcza lewy do składnika w miejscu, ale co odpowiedni do składnika z się . Z drugiej strony, jeśli instancja treningowa ma , to prawy zestaw z terminem pozostaje na miejscu, ale lewy zestaw staje się . Logarytm prawdopodobieństwa służy do ułatwienia obliczeń.$y^{(i)}$$i^{th}$$1$$y^{(i)}=1$$1-y^{(i)}$$0$$y=0$$1-y^{(i)}$$0$

Jeśli następnie zastąpimy i wcześniejszymi wyrażeniami, otrzymamy:$P(y=1)$$P(y=0)$

$$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$$

Możesz przeczytać więcej o tym formularzu w tych notatkach z wykładu Stanforda .

Zamiast średniego błędu kwadratu używamy funkcji kosztu o nazwie Cross-Entropy, znanej również jako Log Loss. Stratę między entropią można podzielić na dwie osobne funkcje kosztów: jedną dla y = 1 i jedną dla y = 0.

$$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$$

Po ich złożeniu mamy:

$$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$$

Mnożenie przez i w powyższym równaniu jest podstępną sztuczką, która pozwala zastosować to samo równanie do rozwiązania zarówno dla przypadków i . Jeśli , pierwsza strona anuluje się. Jeśli , druga strona się anuluje. W obu przypadkach wykonujemy tylko operację, którą musimy wykonać.$y$$(1−y)$$y=1$$y=0$$y=0$$y=1$

Jeśli nie chcesz używać forpętli, możesz wypróbować wektorową postać powyższego równania

$$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$$

Całe wyjaśnienie można zobaczyć na stronie Machine Learning Cheatsheet .