Scikit Binomial Deviance Loss Function

Jest to funkcja utraty dwumianowej dewiacji przez GradientBoosting,

   def __call__(self, y, pred, sample_weight=None):
        """Compute the deviance (= 2 * negative log-likelihood). """
        # logaddexp(0, v) == log(1.0 + exp(v))
        pred = pred.ravel()
        if sample_weight is None:
            return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
        else:
            return (-2.0 / sample_weight.sum() *
                    np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))

Ta funkcja strat nie jest podobna dla klasy z 0 i klasy z 1. Czy ktoś może wyjaśnić, jak to jest uważane za OK.

Na przykład, bez wagi próbki, funkcją straty dla klasy 1 jest

-2(pred - log(1 + exp(pred))

vs dla klasy 0

-2(-log(1+exp(pred))

Fabuła dla tych dwóch nie jest podobna pod względem kosztów. Czy ktoś może mi pomóc zrozumieć.

machine-learning scikit-learn boosting loss-functions Kumaran
źródło

Odpowiedzi:

Aby zrozumieć tę implementację, potrzebne są dwie uwagi.

Po pierwsze, predto nie jest prawdopodobieństwo, to jest logarytm.

Drugi to standardowa algebraiczna manipulacja dewiacją dwumianową, która przebiega w ten sposób. Niech będzie logarytmicznym prawdopodobieństwem, jakie połączenia . Zatem definicją dwumianowego odchylenia obserwacji jest (do współczynnika $P$ sklearnpred $-2$ )

y \log (p) + (1 - y) \log (1 - p) = \log (1 - p) + y \log (\frac{p}{1 - p})

$y \log(p) + (1-y) \log(1 - p) = \log(1 - p) + y \log \left( \frac{p}{1-p} \right)$

Teraz zauważ, że $p = \frac{e^{P}}{1 + e^{P}}$ $1-p = \frac{1}{1 + e^{P}}$ $1$

\log (1 - p) = \log (\frac{1}{1 + {mi}^{P.}}) = - \log (1 + {mi}^{P.})

$\log(1-p) = \log \left( \frac{1}{1 + e^{P}} \right) = - \log(1 + e^{P})$

\log (\frac{p}{1 - p}) = \log ({mi}^{P.}) = P.

$\log \left( \frac{p}{1-p} \right) = \log ( e^{P} ) = P$

W sumie dwumianowe odchylenie jest równe

y P. - \log (1 + {mi}^{P.})

$y P - \log( 1 + e^{P} )$

Które to równanie sklearnwykorzystuje.

Matthew Drury
źródło

Dzięki Ci. Jeśli zastąpię predlogarytmiczne szanse, funkcja straty jest jednolita dla obu klas.

Kumaran

To samo pytanie pojawiło się ostatnio dla mnie. Patrzyłem na gradientboostedmodels.googlecode.com/git/gbm/inst/doc/gbm.pdf strona 10, gdzie znajduje się gradient odchylenia. Wygląda jednak na to, że gradient, który pokazują, jest podobny do logarytmu, a nie do logarytmu ujemnego. Czy to prawda - wydaje się pasować do twojego wyjaśnienia tutaj?

B_Miner

@B_Miner link jest zepsuty

GeneX

Wielkie dzięki @Mathew Drury

Catbuilts