Dlaczego metody regresji metodą najmniejszych kwadratów i największej wiarygodności nie są równoważne, gdy błędy nie są zwykle rozkładane?

Tytuł mówi wszystko. Rozumiem, że najmniejsze kwadraty i maksymalne prawdopodobieństwo dadzą taki sam wynik dla współczynników regresji, jeśli błędy modelu są zwykle rozkładane. Ale co się stanie, jeśli błędy nie są zwykle dystrybuowane? Dlaczego te dwie metody nie są już równoważne?

Krótka odpowiedź

Gęstość prawdopodobieństwa wieloczynnikowej zmiennej rozkładowej Gaussa , ze średnią jest związana z kwadratem euklidesa odległość między średnią a zmienną ( ), czyli innymi słowy suma kwadratów.$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

Długa odpowiedź

Jeśli pomnożysz wiele rozkładów Gaussa dla swoich błędów, przy założeniu równych odchyleń, otrzymasz sumę kwadratów.$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

lub w wygodnej formie logarytmicznej:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

Zatem optymalizacja celu zminimalizowania sumy kwadratów jest równa maksymalizacji prawdopodobieństwa (log) (tj. Iloczynu wielu rozkładów Gaussa lub wielowymiarowego rozkładu Gaussa).$\mu$

Jest to zagnieżdżony kwadrat różnicy wewnątrz struktury wykładniczej, , którego inne rozkłady nie mają.$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

Porównaj na przykład z przypadkiem dla rozkładów Poissona

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

która ma maksimum, gdy zminimalizowane są:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

która jest inną bestią.

---

Ponadto (historia)

Historia rozkładu normalnego (ignorowanie przejścia deMoivre do tego rozkładu jako przybliżenia rozkładu dwumianowego) jest w rzeczywistości odkryciem rozkładu, które sprawia, że ​​MLE odpowiada metodzie najmniejszych kwadratów (a nie metodzie najmniejszych kwadratów, która jest metodą które mogą wyrażać MLE rozkładu normalnego, najpierw pojawiła się metoda najmniejszych kwadratów, a następnie rozkład Gaussa)

Zauważ, że Gauss, łącząc „metodę największego prawdopodobieństwa” z „metodą najmniejszych kwadratów”, wymyślił „rozkład Gaussa”, , jako jedyny rozkład błędów, który prowadzi nas do wykonaj to połączenie między dwiema metodami.$e^{-x^2}$

Z przekładu Charlesa Henry'ego Davisa (Teoria ruchu ciał niebieskich poruszających się wokół Słońca w odcinkach stożkowych. Tłumaczenie „Theoria motus” Gaussa z dodatkiem) ...

Gauss definiuje:

W związku z tym prawdopodobieństwo przypisania do każdego błędu będzie wyrażone przez funkcję którą oznaczymy przez .$\Delta$$\Delta$$\psi \Delta$

^{(Italizacja wykonana przeze mnie)}

I kontynuuje ( w sekcji 177 s. 258 ):

... stąd łatwo wywnioskować, że musi być stałą wielkością. które oznaczymy przez . Stąd mamy oznaczająca podstawę logarytmów hiperbolicznych przez i przyjmując$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

kończąc (po normalizacji i realizacji ) w$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

Napisane przez StackExchangeStrike

Ponieważ MLE wywodzi się z założenia resztkowej normalnie rozłożonej.

Zauważ, że

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

Ma żadnego znaczenia probabilistyczny : wystarczy znaleźć , które minimalizują funkcję strat kwadratu. Wszystko jest deterministyczne i nie ma tam żadnych losowych składników.$\beta$

Zakładamy, że tam, gdzie pojawia się pojęcie prawdopodobieństwa i prawdopodobieństwa

$$y=X\beta + \epsilon$$

Tam, gdzie rozważamy jako zmienną losową, a jest zwykle rozłożony.$y$$\epsilon$

Najmniejsze kwadraty i maksymalne dopasowanie (gaussowskie) prawdopodobieństwa są zawsze równoważne. Oznacza to, że są one minimalizowane przez ten sam zestaw współczynników.

Zmiana założenia dotyczącego błędów zmienia funkcję prawdopodobieństwa (maksymalizacja prawdopodobieństwa modelu jest równoważna maksymalizacji prawdopodobieństwa terminu błędu), a zatem funkcja nie będzie już minimalizowana przez ten sam zestaw współczynników.

Więc w praktyce oba są takie same, ale teoretycznie, kiedy zmaksymalizujesz inne prawdopodobieństwo, dojdziesz do innej odpowiedzi niż Najmniejsze kwadraty

Konkretny przykład: załóżmy, że bierzemy prostą funkcję błędu p (1) =. 9, p (-9) = .10. Jeśli weźmiemy dwa punkty, LS po prostu przejdzie przez nie linię. Z drugiej strony ML zakłada, że ​​oba punkty są o jedną jednostkę za wysoko, a zatem poprowadzi linię przez punkty przesunięte w dół na jednostkę.