Właściwości regresji logistycznych

Pracujemy z pewnymi regresjami logistycznymi i zdaliśmy sobie sprawę, że średnie oszacowane prawdopodobieństwo zawsze równa jest proporcji jednych w próbie; to znaczy, średnia dopasowanych wartości jest równa średniej próbki.

Czy ktoś może mi wyjaśnić przyczynę lub podać źródło, w którym mogę znaleźć tę demonstrację?

Obserwowane zachowanie jest „typowym” przypadkiem regresji logistycznej, ale nie zawsze jest prawdą. Ma również znacznie większą ogólność (patrz poniżej). Jest to konsekwencja zbiegu trzech odrębnych faktów.

1. Wybór modelowania logarytmii jako funkcji liniowej predyktorów,
2. Wykorzystanie maksymalnego prawdopodobieństwa do uzyskania oszacowań współczynników w modelu regresji logistycznej oraz
3. Włączenie terminu przechwytującego do modelu.

Jeśli którekolwiek z powyższych nie występuje, wówczas średnie oszacowane prawdopodobieństwa nie będą na ogół odpowiadały odsetkowi prawdopodobieństw w próbie.

Jednak (prawie) wszyscy oprogramowanie statystyczne wykorzystuje oszacowanie maksymalnego prawdopodobieństwa dla takich modeli, więc w praktyce pozycje 1 i 2 są zasadniczo zawsze obecne, a pozycja 3 jest zwykle obecna, z wyjątkiem szczególnych przypadków.

Trochę szczegółów

W typowych ramach regresji logistycznej obserwujemy wyniki niezależnych prób dwumianowych z prawdopodobieństwem . Niech Y i być obserwowane reakcje. Następnie całkowite prawdopodobieństwo, L = n Π i = 1 p r ı I ( 1 - p ı ) 1 - Y i = n Π i = 1 exp ( y i log ( p ı / ( 1 - p $p_i$$y_i$ A więc Log-Likelihood jest ℓ = n Σ i = 1 Y i log ( s I / ( 1 - P i ) ) + n Σ i = 1 log ( 1 - P I

$$\mathcal L = \prod_{i=1}^n p_i^{y_i} (1-p_i)^{1 - y_i} = \prod_{i=1}^n \exp( y_i \log(p_i/(1-p_i)) + \log(1-p_i)) \>,$$ $$\ell = \sum_{i=1}^n y_i \log(p_i / (1-p_i)) + \sum_{i=1}^n \log(1-p_i) \> .$$

Teraz mamy wektor predyktorów dla każdej obserwacji, a z faktu 1 powyżej model regresji logistycznej zakłada, że log p $\newcommand{\x}{\mathbf x}\x_i$

$$\log \frac{p_i}{1-p_i} = \beta^T \x_i \>,$$ $\beta$$p_i = 1/(1+e^{-\beta^T \x_i})$

$\partial \ell / \partial \beta = 0$

$$\frac{\partial \ell}{\partial \beta} = \sum_i y_i \x_i - \sum_i \frac{\x_i}{1+\exp(-\beta^T \x_i)} = \sum_i y_i \x_i - \sum_i p_i \x_i \>,$$ $$\sum_i y_i \x_i = \sum_i \hat{p}_i \x_i \>,$$ ponieważ MLE są niezmienne w trakcie transformacji, stąd $\hat{p}_i = (1+\exp(-\hat{\beta}^T \x_i))^{-1}$ w tym przypadku.

Korzystając z faktu 3, jeśli $\x_i$ ma składnik $j$ to zawsze 1 na każdy $i$, następnie $\sum_i y_i x_{ij} = \sum_i y_i = \sum_i \hat{p}_i$ i dlatego empiryczna proporcja pozytywnych odpowiedzi odpowiada średniej dopasowanych prawdopodobieństw.

Symulacja

Włączenie przechwytywania jest ważne. Oto przykład w$R$ w celu wykazania, że ​​obserwowane zachowanie może nie wystąpić, gdy w modelu nie ma żadnego przechwytywania.

x <- rnorm(100)
p <- 1/(1+exp(-3*x))
y <- runif(100) <= p
mean(y)
# Should be identical to mean(y)
mean( predict( glm(y~x, family="binomial"), type="response" ) )
# Won't be identical (usually) to mean(y)
mean( predict( glm(y~x+0, family="binomial"), type="response") )

Przypadek ogólny : jak wspomniano powyżej, właściwość, że średnia odpowiedź jest równa średniej przewidywanej średniej, ma znacznie większą ogólność dla klasy uogólnionych modeli liniowych pasujących z najwyższym prawdopodobieństwem, przy użyciu funkcji łącza kanonicznego i uwzględnienia przecięcia w Model.

Bibliografia

Niektóre dobre odniesienia do powiązanej teorii są następujące.

1. A. Agresti (2002), Categorical Data Analysis , wyd. 2, Wiley.
2. P. McCullagh i JA Nelder (1989), Uogólnione modele liniowe , wyd. 2, Chapman i Hall. (Tekst oryginalnych autorów metod ogólnych).