Czy możesz podać proste intuicyjne wyjaśnienie metody IRLS, aby znaleźć MLE GLM?

Tło:

Staram się śledzić ocenę Princeton dotyczącą oszacowania MLE dla GLM .

I zrozumieć podstawy szacowania MLE: likelihood, score, obserwowane i oczekiwane Fisher informationi Fisher scoringtechnika. I wiem, jak uzasadnić prostą regresję liniową estymacją MLE .

---

Pytanie:

Nie rozumiem nawet pierwszego wiersza tej metody :(

Jaka intuicja kryje się za roboczymi zdefiniowanymi jako:$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Dlaczego są one używane zamiast do oszacowania ?$y_i$$\beta$

A jaki jest ich związek z tym, response/link functionco jest związkiem między a$\eta$$\mu$

Jeśli ktoś ma proste wyjaśnienie lub może skierować mnie do bardziej podstawowego tekstu na ten temat, byłbym wdzięczny.

Kilka lat temu napisałem o tym artykuł dla moich uczniów (w języku hiszpańskim), więc mogę spróbować przepisać te wyjaśnienia tutaj. Spojrzę na IRLS (iteracyjnie przeważone najmniejsze kwadraty) przez szereg przykładów o coraz większej złożoności. W pierwszym przykładzie potrzebujemy koncepcji rodziny o skali lokalizacji. Niech będzie w pewnym sensie funkcją gęstości wyśrodkowaną na zero. Możemy zbudować rodzinę gęstości, definiując gdzie to parametr skali, a f ( x ) = f ( x ; μ , σ ) = $f_0$σ>0μf0N(μ,σ

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$jest parametrem lokalizacji. W modelu błędu pomiaru, gdzie zwykle termin błędu jest modelowany jako rozkład normalny, możemy zamiast tego rozkładu normalnego użyć rodziny o skali lokalizacji skonstruowanej powyżej. Gdy jest standardowym rozkładem normalnym, powyższa konstrukcja daje rodzinę .$f_0$$\text{N}(\mu, \sigma)$

Teraz użyjemy IRLS na kilku prostych przykładach. Najpierw znajdziemy estymatory ML (maksymalne prawdopodobieństwo) w modelu o gęstości Cauchy rozkład rodziny lokalizacji (więc jest to rodzina lokalizacji). Ale najpierw jakiś zapis. Estymator najmniejszych kwadratów ważony jest wyrażony przez gdzie to niektóre wagi. Zobaczymy, że estymator ML można wyrazić w tej samej formie, za pomocąf ( y ) =

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$jakaś funkcja residuals Funkcja prawdopodobieństwa jest podana przez a funkcja loglikelihood jest dana przez Jego pochodną względem jest gdzie . pisać $$\epsilon_i = y_i-\hat{\mu}.$$ $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ i , otrzymujemy Znajdujemy którym użyliśmy definicji $f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Pamiętając, że otrzymujemy równanie które jest równaniem szacunkowym IRLS. Zauważ, że$\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. Wagi są zawsze dodatnie.$w_i$
2. Jeśli reszta jest duża, przypisujemy mniejszą wagę do odpowiedniej obserwacji.

Aby obliczyć estymator ML w praktyce, potrzebujemy wartości początkowej , moglibyśmy na przykład użyć mediany. Za pomocą tej wartości obliczamy resztki i wagi Nowa wartość jest podana przez Kontynuując w ten sposób, definiujemy i Szacowana wartość na przejściu algorytmu staje się $\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Kontynuując, aż sekwencja zbiegnie się. $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

Teraz badamy ten proces z bardziej ogólną rodziną lokalizacji i skali, , z mniejszą ilością szczegółów. Niech będą niezależne od powyższej gęstości. Zdefiniuj także . Funkcja loglikelihood to Pisząc , zwróć uwagę, że i Obliczanie pochodnej logarytmu $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ i tego do zera daje to samo równanie szacunkowe jak w pierwszym przykładzie. Następnie wyszukaj estymator dla : $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ prowadząc do estymatora W tym przypadku można również zastosować powyższy algorytm iteracyjny. $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Poniżej podajemy przykład numeryczny z wykorzystaniem R, dla modelu podwójnego wykładniczego (o znanej skali) i danych y <- c(-5,-1,0,1,5). Dla tych danych prawdziwa wartość estymatora ML wynosi 0. Wartość początkowa będzie wynosić mu <- 0.5. Jeden przebieg algorytmu to

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

za pomocą tej funkcji możesz eksperymentować z wykonywaniem iteracji „ręcznie”. Następnie można wykonać algorytm iteracyjny

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

Ćwiczenie: Jeśli model jest rozkładem z parametrem skali pokaż iteracje według wagi Ćwiczenie: jeśli gęstość jest logistyczna, pokaż wagi podane przez $t_k$$\sigma$w(ϵ)=1-e

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Na razie zostawię to tutaj, będę kontynuować ten post.