Odchylenie estymatorów maksymalnego prawdopodobieństwa dla regresji logistycznej

10

Chciałbym zrozumieć kilka faktów dotyczących estymatorów maksymalnego prawdopodobieństwa (MLE) dla regresji logistycznych.

  1. Czy to prawda, że ​​ogólnie MLE regresji logistycznej jest stronniczy? Powiedziałbym tak". Wiem na przykład, że wymiar próbki jest związany z asymptotycznym nastawieniem MLE.

    Czy znasz jakieś podstawowe przykłady tego zjawiska?

  2. Jeśli MLE jest stronniczy, czy prawdą jest, że macierz kowariancji MLE jest odwrotnością Hessian funkcji największego prawdopodobieństwa?

    edycja : Spotykałem tę formułę dość często i bez żadnych dowodów; wydaje mi się to dość arbitralnym wyborem.

Avitus
źródło

Odpowiedzi:

15

Rozważ prosty binarny model regresji logistycznej z binarną zmienną zależną i tylko stałą i binarnym regresorem T.

Pr(Yi=1Ti=1)=Λ(α+βTi)
gdzie jest logistycznym cdf, .ΛΛ(u)=[1+exp{u}]1

W formularzu logowania mamy

ln(Pr(Yi=1Ti=1)1Pr(Yi=1Ti=1))=α+βTi

Masz próbkę o rozmiarze . Oznacz liczbę obserwacji, w których a te, w których , a . Rozważ następujące szacunkowe prawdopodobieństwa warunkowe:nn1Ti=1n0Ti=0n1+n0=n

Pr^(Y=1T=1)P^1|1=1n1Ti=1yi

Pr^(Y=1T=0)P^1|0=1n0Ti=0yi

Następnie ten bardzo podstawowy model zapewnia rozwiązania w formie zamkniętej dla estymatora ML:

α^=ln(P^1|01P^1|0),β^=ln(P^1|11P^1|1)ln(P^1|01P^1|0)

STRONNICZOŚĆ

Chociaż i są obiektywnymi estymatorami odpowiednich prawdopodobieństw, MLE są stronnicze, ponieważ nieliniowa funkcja logarytmiczna przeszkadza - wyobraź sobie, co dzieje się z bardziej skomplikowanymi modelami , z wyższym stopniem nieliniowości.P^1|1P^1|0

Ale asymptotycznie, odchylenie zanika, ponieważ szacunki prawdopodobieństwa są spójne. Wstawiając bezpośrednio operatora do oczekiwanej wartości i logarytmu, mamy lim

limnE[α^]=E[ln(limnP^1|01P^1|0)]=E[ln(P1|01P1|0)]=α

i podobnie dla . β

Macierz wariancji wariancji MLE
W powyższym prostym przypadku, który zapewnia wyrażenia w formie zamkniętej dla estymatora, można co najmniej w zasadzie kontynuować i wyprowadzić dokładny rozkład próbki skończonej, a następnie obliczyć jej dokładną macierz wariancji wariancji kowariancji skończonej . Ale ogólnie MLE nie ma zamkniętego rozwiązania. Następnie uciekamy się do spójnego oszacowania asymptotycznej macierzy wariancji-kowariancji, która jest (ujemna) odwrotnością Hesji funkcji logarytmu wiarygodności próbki, ocenionej w MLE. I w ogóle nie ma tu „arbitralnego wyboru”, ale wynika to z teorii asymptotycznej i asymptotycznych właściwości MLE (spójność i asymptotyczna normalność), co mówi nam, że dla , θ0=(α,β)

n(θ^θ0)dN(0,(E[H])1)

gdzie to Hesjan. To prowadzi nas w przybliżeniu i dla (dużych) skończonych próbekH

Var(θ^)1n(E[H])11n(1nH^)1=H^1
Alecos Papadopoulos
źródło