Rozważ prosty binarny model regresji logistycznej z binarną zmienną zależną i tylko stałą i binarnym regresorem T.
Pr(Yi=1∣Ti=1)=Λ(α+βTi)
gdzie jest logistycznym cdf, .
ΛΛ(u)=[1+exp{−u}]−1
W formularzu logowania mamy
ln(Pr(Yi=1∣Ti=1)1−Pr(Yi=1∣Ti=1))=α+βTi
Masz próbkę o rozmiarze . Oznacz liczbę obserwacji, w których a te, w których , a . Rozważ następujące szacunkowe prawdopodobieństwa warunkowe:nn1Ti=1n0Ti=0n1+n0=n
Pr^(Y=1∣T=1)≡P^1|1=1n1∑Ti=1yi
Pr^(Y=1∣T=0)≡P^1|0=1n0∑Ti=0yi
Następnie ten bardzo podstawowy model zapewnia rozwiązania w formie zamkniętej dla estymatora ML:
α^=ln(P^1|01−P^1|0),β^=ln(P^1|11−P^1|1)−ln(P^1|01−P^1|0)
STRONNICZOŚĆ
Chociaż i są obiektywnymi estymatorami odpowiednich prawdopodobieństw, MLE są stronnicze, ponieważ nieliniowa funkcja logarytmiczna przeszkadza - wyobraź sobie, co dzieje się z bardziej skomplikowanymi modelami , z wyższym stopniem nieliniowości.P^1|1P^1|0
Ale asymptotycznie, odchylenie zanika, ponieważ szacunki prawdopodobieństwa są spójne. Wstawiając bezpośrednio operatora do oczekiwanej wartości i logarytmu, mamy
lim
limn→∞E[α^]=E[ln(limn→∞P^1|01−P^1|0)]=E[ln(P1|01−P1|0)]=α
i podobnie dla . β
Macierz wariancji wariancji MLE
W powyższym prostym przypadku, który zapewnia wyrażenia w formie zamkniętej dla estymatora, można co najmniej w zasadzie kontynuować i wyprowadzić dokładny rozkład próbki skończonej, a następnie obliczyć jej dokładną macierz wariancji wariancji kowariancji skończonej . Ale ogólnie MLE nie ma zamkniętego rozwiązania. Następnie uciekamy się do spójnego oszacowania asymptotycznej macierzy wariancji-kowariancji, która jest (ujemna) odwrotnością Hesji funkcji logarytmu wiarygodności próbki, ocenionej w MLE. I w ogóle nie ma tu „arbitralnego wyboru”, ale wynika to z teorii asymptotycznej i asymptotycznych właściwości MLE (spójność i asymptotyczna normalność), co mówi nam, że dla ,
θ0=(α,β)
n−−√(θ^−θ0)→dN(0,−(E[H])−1)
gdzie to Hesjan. To prowadzi nas w przybliżeniu i dla (dużych) skończonych próbekH
Var(θ^)≈−1n(E[H])−1≈−1n(1nH^)−1=−H^−1