Kiedy regresję logistyczną rozwiązuje się w formie zamkniętej?

Weźmy i i załóżmy, że modelujemy zadanie przewidywania y dla x za pomocą regresji logistycznej. Kiedy współczynniki regresji logistycznej można zapisać w formie zamkniętej? $x \in \{0,1\}^d$ $y \in \{0,1\}$

Jednym z przykładów jest użycie modelu nasyconego.

To znaczy zdefiniuj , gdzie indeksuje zestawy w zestawie mocy , a zwraca 1, jeśli wszystkie zmienne w -tym zestawie to 1, a w przeciwnym razie 0. Następnie możesz wyrazić każde w tym modelu regresji logistycznej jako logarytm racjonalnej funkcji statystyki danych. $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$ $i$ $\{x_1,\ldots,x_d\}$ $f_i$ $i$ $w_i$

Czy istnieją inne ciekawe przykłady, gdy istnieje zamknięty formularz?

logistic generalized-linear-model Jarosław Bułatow
źródło

Zakładam, że masz na myśli „kiedy MLE parametrów mają postać zamkniętą?”

Glen_b

Czy możesz podać więcej szczegółów, co zrobiłeś? Twoje pytanie brzmi, jakbyś próbował uzyskać zwykły estymator najmniejszych kwadratów dla problemu regresji logistycznej?

Momo

Dzięki za interesujący post / pytanie, Jarosław. Czy masz odniesienie do pokazanego przykładu?

Bitowy

Minęło trochę czasu, ale być może było to w książce Lauritzena „Modele graficzne”. Istnieją szersze podstawy odpowiedzi na to pytanie - rozwiązanie jest zamknięte, gdy wykres (hiper) utworzony przez wystarczającą statystykę jest akordalny

Jarosław Bułatow

To może być interesujące tandfonline.com/doi/abs/10.1080/... Uważam, że jest to szczególny przypadek rozwiązania analitycznego, gdy masz tylko stół 2x2

Austin

Odpowiedzi:

Jak zauważył kjetil b halvorsen, na swój sposób cudem jest regresja liniowa dopuszczająca rozwiązanie analityczne. A dzieje się tak tylko dzięki liniowości problemu (w odniesieniu do parametrów). W OLS masz który ma warunki pierwszego rzędu W przypadku problemu z

\sum_{i} (y_{i} - x_{i}^{'} β)^{2} \to min_{β},

$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$

- 2 \sum_{i} (y_{i} - x_{i}^{'} β) x_{i} = 0

$-2 \sum_i (y_i - x_i'\beta) x_i = 0$

p

$p$ Zmienne (w tym na stałym poziomie, w razie potrzeby, istnieje kilka problemów regresji przez pochodzenie, za) jest to system z

równań i

nieznanych. Co najważniejsze, jest to układ liniowy, dzięki czemu można znaleźć rozwiązanie przy użyciu standardowej teorii i praktyki algebry liniowej . Ten system będzie miał rozwiązanie z prawdopodobieństwem 1, chyba że masz idealnie współliniowe zmienne.

p

$p$

p

$p$

Teraz, dzięki regresji logistycznej, rzeczy nie są już takie proste. Zapisując funkcję log-wiarygodności, a przy jego pochodna znaleźć MLE, mamy

l (y; x, β) = \sum_{ja} y_{ja} \ln p_{ja} + (1 - y_{ja}) \ln (1 - p_{ja}), p_{ja} = (1 + \exp (- θ_{ja}))^{- 1}, θ_{ja} = x_{ja}^{'} β,

$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$

Parametry

wprowadzają to w bardzo nieliniowy sposób: dla każdego

istnieje funkcja nieliniowa i są one dodawane razem. Nie ma rozwiązania analityczne (z wyjątkiem prawdopodobnie w banalnej sytuacji z dwóch obserwacji, czy coś takiego) i trzeba użyćnieliniowych metod optymalizacji, aby znaleźć szacunki

\frac{\partial l}{\partial β^{'}} = \sum_{i} \frac{d p_{i}}{d θ} (\frac{y_{i}}{p_{i}} - \frac{1 - y_{i}}{1 - p_{i}}) x_{i} = \sum_{i} [y_{i} - \frac{1}{1 + \exp (x_{i}^{'} β)}] x_{i}

$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$

β

$\beta$

i

$i$

\hat{β}

$\hat\beta$

Nieco głębsze spojrzenie na problem (biorąc pod uwagę drugą pochodną) pokazuje, że jest to wypukły problem optymalizacji znalezienia maksimum funkcji wklęsłej (gloryfikowana parabola wielowymiarowa), więc jedno z nich istnieje i każdy rozsądny algorytm powinien go znaleźć szybko, albo wszystko wyleci w nieskończoność. To ostatnie dzieje się z regresją logistyczną, gdy dla niektórych ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$ $c$ , tj. masz doskonałą prognozę. Jest to raczej nieprzyjemny artefakt: można by pomyśleć, że gdy masz doskonałą prognozę, model działa doskonale, ale co ciekawe, jest odwrotnie.

StasK
źródło

pytanie brzmi, dlaczego twoje ostatnie równanie nie jest możliwe do rozwiązania. czy wynika to z odwrotności funkcji logistycznej przy 0 i 1, czy z ogólnej nieliniowości?

eyaler

(+1) Odnośnie ostatniego akapitu: Z matematycznego punktu widzenia to robi pracę „doskonale” w tym sensie, że MLE przyniesie doskonałe oddzielającą hiperpłaszczyznę. To, czy Twój algorytm numeryczny zachowuje się rozsądnie w takich okolicznościach, stanowi osobną kwestię. W takich sytuacjach często stosuje się wygładzanie Laplace'a.

kardynał

@eyaler, powiedziałbym, że jest to spowodowane ogólną nieliniowością. Rozumiem, że istnieje ograniczony zestaw okoliczności, w których można to rozwiązać, chociaż nie wiem, jakie są te okoliczności.

StasK

Nie rozumiem, jaki jest obecny stan matematyczny, który powoduje, że system nie ma rozwiązania w formie zamkniętej? Czy istnieje ogólny warunek, w którym rzeczy ogólnie nie mają zamkniętych rozwiązań?

Charlie Parker

czy fakt, że regresja logistyczna nie ma zamkniętej formy, jest czymś, co można udowodnić, patrząc na iterację gradientu spadku?

Charlie Parker

Ten post pierwotnie miał być długim komentarzem, a nie pełną odpowiedzią na pytanie.

Z pytania wynika, że nieco niejasne jest, czy interes leży tylko w przypadku binarnym, a może w bardziej ogólnych przypadkach, w których mogą być ciągłe lub przyjmować inne dyskretne wartości.

Jeden przykład, który nie do końca odpowiada na pytanie, ale jest powiązany i który podoba mi się, dotyczy rankingów preferencji pozycji uzyskanych za pomocą porównań w parach. Model Bradleya-Terry'ego można wyrazić jako regresję logistyczną, w której

l o sol ja t (Par (Y_{ja jot} = 1)) = α_{ja} - α_{jot},

$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$

α_{i}

$\alpha_i$

i

$i$

Y_{i j} = 1

$Y_{ij} = 1$

i

$i$

j

$j$

Jeśli przeprowadzane jest pełne porównywanie okrężne (tzn. Dla każdego nieuporządkowanego rejestrowana jest preferencja parowa $(i,j)$ $\hat{\alpha}_i$ $S_i = \sum_{j \neq i} Y_{ij}$

Aby to zinterpretować, wyobraź sobie pełny turniej typu round-robin w ulubionym sporcie wyczynowym. Następnie wynik ten mówi, że model Bradleya-Terry'ego uszeregowuje graczy / drużyny według ich procentu wygranych. To, czy jest to wynik zachęcający, czy rozczarowujący, zależy od twojego punktu widzenia.

Uwaga: Ten wynik w kolejności szeregowania nie obowiązuje na ogół, gdy nie jest odtwarzany pełny runda.

kardynał
źródło

Interesowałem się wersją binarną, ponieważ była najłatwiejsza do analizy. Znalazłem bardzo szeroki wystarczający warunek w pracach Lauritzena - dostajesz zamkniętą formę, jeśli odpowiedni log-liniowy model ulega rozkładowi

Jarosław Bułatow