Dlaczego regresja logistyczna daje dobrze skalibrowane modele?

Rozumiem, że jednym z powodów, dla których regresja logistyczna jest często używana do przewidywania współczynników klikalności w sieci, jest fakt, że produkuje ona dobrze skalibrowane modele. Czy istnieje na to dobre matematyczne wytłumaczenie?

regression logistic lsankar4033
źródło

regresja logistyczna wykonana w celu przewidywania prawdopodobieństw -> które prowadzą do skalibrowanych prognoz, jeśli nie są nadmierne podczas gdy większość modeli uczenia maszynowego nie przewiduje probabilitów, ale raczej klasy - i istnieje pewien zniekształcenie pochodnych pseudo-probabilitów na podstawie tych prognoz -> dlatego zauważmy, że są dobrze skalibrowane

Charles

Powinienem był wyjaśnić to pytanie, ale moje pytanie dotyczyło raczej tego, dlaczego LR jest tak przydatny do przewidywania prawdopodobieństw.

lsankar4033 23.04.16

Warto zauważyć, że można po prostu dopasować regresję logistyczną do wyjścia źle skalibrowanego klasyfikatora, aby uzyskać skalibrowany model. Nazywa się to Platt Scaling en.wikipedia.org/wiki/Platt_scaling

generic_user

Odpowiedzi:

Tak.

Przewidywany wektor prawdopodobieństwa z regresji logistycznej spełnia równanie macierzowe $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Gdzie jest macierzą obliczeniową, jest wektorem odpowiedzi. Można to postrzegać jako zbiór równań liniowych, wynikający z każdej kolumny macierzy wzór . $X$ $y$ $X$

Specjalizując się w kolumnie przechwytywania (która jest rzędem w transponowanej macierzy), powiązane równanie liniowe to

\sum_{ja} (p_{ja} - y_{ja}) = 0

$\sum_i( p_i - y_i) = 0$

więc ogólne średnie przewidywane prawdopodobieństwo jest równe średniej odpowiedzi.

Mówiąc bardziej ogólnie, dla kolumny cech binarnych powiązane równanie liniowe to $x_{ij}$

\sum_{ja} x_{ja jot} (p_{ja} - y_{ja}) = \sum_{ja ∣ x_{ja jot} = 1} (p_{ja} - y_{ja}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

więc suma (a zatem średnia) przewidywanych prawdopodobieństw równa się sumie odpowiedzi, nawet gdy specjalizuje się w tych rekordach, dla których . $x_{ij} = 1$

Matthew Drury
źródło

@MatthewDrury jak mogę zinterpretować twoje pierwsze równanie? jest

w postaci

? Niemniej jednak ta liniowa zależność jest zachowana? Dziękuję Ci!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

Ric

Tak, p ma taką postać. Pierwsze równanie pochodzi od ustawienia pochodnej funkcji straty na zero.

Matthew Drury

Dotyczy to tylko kalibracji w dużym, co nie jest tym, czego chcemy: kalibracji w małym.

Frank Harrell,

@FrankHarrell Chcesz opracować? Nie słyszałem wcześniej tych warunków.

Matthew Drury,

Historia literatury dotyczącej prognoz prawdopodobieństwa datowana na US Weather Service 1950 ma długą historię - właśnie tam wykorzystano wynik Briera. Kalibracja w małym oznacza, że jeśli spojrzymy na przewidywane ryzyko 0,01, 0,02, ..., 0,99, każde z nich jest dokładne, tj. Przez cały czas, gdy przewidywane ryzyko wynosiło 0,4, wynik miał miejsce około 0,4 czas. „Kalibrowanie w maleńkim” nazywam następnym krokiem: dla mężczyzn, u których przewidywanie wynosiło 0,4, wynik był obecny 0,4 czasu, a następnie dla kobiet.

Frank Harrell,

Myślę, że mogę udzielić ci łatwego do zrozumienia wyjaśnienia w następujący sposób:

Wiemy , że jego funkcję utraty można wyrazić jako następującą funkcję:

jot (θ) = - \frac{1}{m} \sum_{ja = 1}^{m} [y^{(ja)} \log (h_{θ} (x^{(ja)})) + (1 - y^{(ja)}) \log (1 - h_{θ} (x^{(ja)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
Gdziemreprezentuje liczbę wszystkie próbki szkoleniowe,

y^{(i)}

$y^{(i)}$ etykieta i-tej próbki,

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$ przewidywane prawdopodobieństwo i-tej próbki:

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$ . (zwróć uwagę na odchylenie

α

$\alpha$ tutaj)

Ponieważ celem szkolenia jest minimalizacja funkcji straty, pozwól nam ocenić jego pochodną cząstkową względem każdego parametru $\theta_j$ (szczegółowe wyprowadzenie można znaleźć tutaj ):

\frac{\partial jot (θ)}{\partial θ_{jot}} = \frac{1}{m} \sum_{ja = 1}^{m} [h_{θ} (x^{(ja)}) - y^{(ja)}] x_{jot}^{(ja)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) x_{jot}^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)} x_{jot}^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Oznacza to, że jeśli model jest w pełni przeszkolony, przewidywane prawdopodobieństwa, które otrzymujemy dla zestawu szkoleniowego, rozkładają się tak, że dla każdej cechy suma ważonych (wszystkich) wartości tej cechy jest równa sumie wartości tej cechy pozytywnych próbek.

$\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) x_{0}^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)} x_{0}^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{ja = 1}^{m} h_{θ} (x^{(ja)}) = \sum_{ja = 1}^{m} y^{(ja)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{ja = 1}^{m} p^{(ja)} = \sum_{ja = 1}^{m} y^{(ja)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Widać oczywiście, że regresja logistyczna jest dobrze skalibrowana.

Odniesienie: Modele logarytmiczno-liniowe i warunkowe pola losowe Charlesa Elkana

Lerner Zhang
źródło